网络爬虫(又被称为网页蜘蛛,网络机器人)
准备工作:
Python:需要基本的python语法基础
requests:专业用于请求处理,requests库学习文档中文版
urllib库
lxml:其实可以用python自带的正则表达式库re,但是为了更加简单入门,用 lxml 中的 etree 进行网页数据定位爬取。
re:python正则表达式处理
代码:
def savedata(datalist,savepath):
book = xlwt.Workbook(encoding="utf-8") # 创建workbook
sheet = book.add_sheet('排名')
col=("排名","视频名字","UP主","播放量","弹幕数")
for i in range(0,5):
sheet.write(0,i,col[i])
baseurl="https://www.bilibili.com/v/popular/rank/all"
datalist=getdata(baseurl)
savepath="A和C中间那个站前100.xls"
savedata(datalist,savepath)
效果:
(版权限制,无法展示)
see~~~
爬虫就像呼吸一样自由。