用python爬虫爬微博_利用python爬取微博热搜

1.打开所要爬取的网页https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box

2.打开开发者工具查找所要爬取的数据位置

3.进行爬取并数据可视化

import requests#引入requests库用于下载网页

from bs4 import BeautifulSoup#BeautifulSoup用于解析网页

import pandas as pd#引入pandas方便数据可视化

from pandas import DataFrame

url="https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box"#所要爬取的网页

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}#

r=requests.get(url)#请求网站

r.encoding='utf-8'#对页面内容重新编码

data=r.text

soup=BeautifulSoup(data,'html.parser')#使用BeautifulSoup工具

print(soup.prettify())#显示网站结构

a=[]#创建一个空列表

index=[]

for i in soup.find_all(class_="td-01 ranktop"):#把排名添加进空列表

a.append(i.get_text().strip())

for k in soup.find_all(class_="td-01"):#把热度标题添加进空列表

index.append(k.get_text().strip())

data=[a,index]

print(data)

s=pd.DataFrame(data,index=["排名","热点标题\热度"])

print(s.T)#将所得数据进行可视化