Python实现【一小时——快速上手爬虫】爬取微博热搜
1.目标要求:
1.爬取微博热搜前20条数据,包括序号
2.其中不包含序号的热搜自动剔除
2.C语言代码:
from typing import Text
import requests
from bs4 import BeautifulSoup # 引入Beautiful Soup包
#----提前应该安装包:requests、bs4、lxml、
#【安装方法】:PyCharm中下方的Teminal中输入:pip install ****(星号为包名)
#----pip安装包显示网络差,等待时间长可将pip install ****
# 改为pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ****
# headers就是告诉网站,我们是一个正常的浏览器在给它发送信息,请它给我们正确的信息。
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'