效果展示
工具使用
开发工具:pycharm 开发环境:python3.7, Windows10 使用工具包:requests,threading, csv
重点学习内容
-
常见请求头的反爬
-
json数据的处理
-
csv文件处理
项目思路解析
找到你需要采集的视频地址(EDG牛逼!!!!)
网址:【S11全球总决赛】决赛 11月6日 EDG vs DK_哔哩哔哩bilibili_英雄联盟
爬虫采集数据首先要找到对应的数据目标地址,可以明显看出当前的网页的评论数据是在不断变化的,需要找到对应的评论接口,习惯性的去找动态数据。
数据并没有在动态数据里,清空数据加载新的评论数据,触发加载条件。
加载的数据在all里,明确数据之后就好处理了,获取到对应的网页接口,通过requests发送网络请求。
url = ‘https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next={}&type=1&oid=891511588&mode=3&plat=1&_=1636272184444’.format(i)
response = requests.get(url)
print(response.text)
数据请求失败请求头没有做反爬策略 添加对应的ua,以及refere 主要是防盗链的请求头措施,在浏览器请求也是得不到数据的,获取到准确的数据,提取自己想要的数据信息。
-
评论的内容
-
评论的时间
-
评论的作者
-
作者的性别
-
作者的个性签名
-
(各位大佬可以根据自己的需求进行自动的采集数据)
处理json数据时要注意, json数据前有jQuery1720892078778784086_1627994582044 可以通过正则的方式进行匹配提取 这里我选择修改url的参数 讲网址的jQuery1720892078778784086_1627994582044进行删除 最终的网址是:
https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next={}&type=1&oid=891511588&mode=3&plat=1&_=1636272184444
获取到数据后进行数据保存,数据保存在csv文件。
def save_data(item):
with open(‘小破站1.csv’, “a”, newline=‘’, encoding=“utf-8”)as f:
filename = [‘content’, ‘ctime’, ‘sex’, ‘uname’, ‘sign’]
csv_data = csv.DictWriter(f, fieldnames=filename)
csv_data.writerow(item)
简易源码分享
import requests
import csv
def save_data(item):
with open(‘EDG牛逼!.csv’, ‘a’, newline=‘’, encoding=‘utf-8’)as f:
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!