python爬取微博评论点赞数_爬取新浪微博评论及点赞数并存储为excel的.csv格式

本文介绍如何使用Python爬取新浪微博的评论和点赞数,并将数据存储为CSV文件。首先获取微博页面的Cookie,然后编写爬虫代码,利用requests库请求数据,通过pymongo处理数据,最后将数据写入CSV文件。运行过程中,解决Unicode编码错误和乱码问题,最终生成名为'weibo.csv'的文件。
摘要由CSDN通过智能技术生成

1、获取cookie,先进入微博页面登陆微博,如进入https://m.weibo.cn/status/4173028302302955后登陆,再使用chrome的F12可方便地获取自己的cookie,获取Cookie所需的选择项如下图所示,往下拉会看到自己的Cookie。

58aa9b28ca54fc5acb6662d16d69f7f8.png

2、写爬虫,代码如下,可以爬取诸如用户名 评论时间 点赞数 评论内容等等,保存为.py文件。本文参考了一些博客,但由于时间问题,多多少少有点不适用当前版本,具体参考Reference。

# -*- coding: utf-8 -*-

import requests

import json

import time

import pymongo

import csv

import os

import codecs

import sys

reload(sys)

sys.setdefaultencoding('utf8')

client = pymongo.MongoClient('localhost', 27017)

weibo = client['weibo']

comment_ = weibo['comment_']

headers = {

"Coo

  • 1
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值