python3爬取微博评论教程_python3爬取微博评论并存为xlsx

python3爬取微博评论并存为xlsx

**

由于微博电脑端的网页版页面比较复杂，我们可以访问手机端的微博网站，网址为：https://m.weibo.cn/

一、访问微博网站，找到热门推荐链接

我们打开微博网站后看见热门页，按F12查看网页结构后只能看见如下图短短的几个文章。

然后我们将滚动条向下滚动，发现新的文章会在底部加载，原来微博的热门文章加载方式是Ajax加载的，那我们就不能在网页源码中找标签了，我们点击如下图所示的network标签，找找请求地址。

我们查看请求返回值后发现下图的请求返回的是一个json格式的数据。

其实这就是热门文章存放的地址。在headers中找到gRequest请求的链接，是：https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0

二、requests请求获取json数据

我们利用requests获取目标地址返回的json数据，并对其进行打印：

response = requests.get(self.con_url, headers=self.headers)

data = json.loads(response.text)

pprint.pprint(data)

1

2

3

使用pprint来输出，可以按json格式输出获得的结果，这样方便查看，如下图：

三、提取文章信息

文章的所有信息都存放在我们获取的json数据中，接下来我们只要根据键去取对应的值即可：

data1 = data['data']['cards']

# pprint.pprint(data1)

for card_group in data1:

try:

for mblog in card_group['card_group']:

pprint.pprint(mblog['mblog']['id'])

link_list.append(mblog['mblog']['id'])

# pprint.pprint(card_group['card_group'])

except:

pprint.pprint(card_group['mblog']['id'])

link_list.append(card_group['mblog']['id'])

1

2

3

4

5

6

7

8

9

10

11

我们获取了文章的id可以根据文章的id访问文章的详细信息。

四、访问文章详情，获取用户评论及信息

对文章的地址进行拼接，获取评论区用户信息及评论内容。

datas = {} # 存放用户ID以及评论内容

ID = [] # 存放用户ID

comment = [] # 存放用户评论

name = [] # 存放用户名

for link in links:

url = self.urlhead + link + self.urlend + link + '&max_id_type=0'

print(url)

response = requests.get(url, headers=self.headers)

try:

details = json.loads(response.text)['data']['data']

except:

print('ok--------------')

# print(details)

for content in details:

user_id = content['user']['id']

text = content['text']

user_name = content['user']['screen_name']

# print(user_id)

# print(text)

ID.append(user_id)

comment.append(text)

name.append(user_name)

datas['用户ID'] = ID

datas['昵称'] = name

datas['评论'] = comment

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

将获取的用户信息存为字典。

五、将用户信息存入Excel表格

def save_datas(self, datas):

datas = DataFrame(datas) # 将字典转换为DataFrame对象

datas.to_excel('pinglun/datas.xlsx', encoding='utf-8')

print('数据写入成功')

1

2

3

4

源码如下：

import requests

import json

import pprint

from pandas import DataFrame

class WeiboSpider:

def __init__(self):

self.headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "

"Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"

}

self.con_url = 'https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0'

self.urlhead = 'https://m.weibo.cn/comments/hotflow?id='

self.urlend = '&mid='

def get_link(self):

link_list = []

response = requests.get(self.con_url, headers=self.headers)

data = json.loads(response.text)

data1 = data['data']['cards']

# pprint.pprint(data1)

for card_group in data1:

try:

for mblog in card_group['card_group']:

pprint.pprint(mblog['mblog']['id'])

link_list.append(mblog['mblog']['id'])

# pprint.pprint(card_group['card_group'])

except:

pprint.pprint(card_group['mblog']['id'])

link_list.append(card_group['mblog']['id'])

self.load_page(link_list)

def load_page(self, links):

datas = {} # 存放用户ID以及评论内容

ID = [] # 存放用户ID

comment = [] # 存放用户评论

name = [] # 存放用户名

for link in links:

url = self.urlhead + link + self.urlend + link + '&max_id_type=0'

print(url)

response = requests.get(url, headers=self.headers)

try:

details = json.loads(response.text)['data']['data']

except:

print('ok--------------')

# print(details)

for content in details:

user_id = content['user']['id']

text = content['text']

user_name = content['user']['screen_name']

# print(user_id)

# print(text)

ID.append(user_id)

comment.append(text)

name.append(user_name)

datas['用户ID'] = ID

datas['昵称'] = name

datas['评论'] = comment

self.save_datas(datas)

def save_datas(self, datas):

datas = DataFrame(datas) # 将字典转换为DataFrame对象

datas.to_excel('pinglun/datas.xlsx', encoding='utf-8')

print('数据写入成功')

if __name__ == '__main__':

crawl = WeiboSpider(http://www.my516.com)

crawl.get_link()

---------------------