小白逆袭大神之综合大作业
这里是三岁,转眼间已经到了大作业了,成功与否最后一搏,最后给小白一点建议吧!加油!等到全部结束后回过头再看一遍效果特别好,会发现忽然间恍然大悟!
综合大作业
一:先爬取评论
二:数据处理,分词,清洗
三:词频统计
四:词云生成
其他具体的在文章里面已经很齐全了
不需要多说什么了
小白专属嘛,怕大家没有爬取过评论,没有做过词云,在这里把前段时间做的B站up主评论爬取和中文词云制作模板给大家做以参考
'''
B站爬取
https://api.bilibili.com/x/v1/dm/list.so?oid=837806779 弹幕api
https://api.bilibili.com/x/v2/reply?type=1&oid=837806779&&pn=1 评论api
弹幕只能够用oid,目前抓包未在到oid集中出现地址
bug:部分网站没有那么严格按照['data']['replies']['content']['message']的顺序来
'''
#导入库
import requests
from bs4 import BeautifulSoup
import re
import json
def Gethtml(url): #获取网页
kv = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36"}
r = requests.get(url, headers = kv)
# print(r.text)
r.encoding = r.apparent_encoding
# print(r.text)
return r.text
#获取up的uid
def u_id(uid_html):
# url = f"https://search.bilibili.com/all?keyword={name}"
# r = Gethtml(url)
# print(r)
# r = requests.get(url, headers=kv)
html = BeautifulSoup(uid_html,'lxml')
# print(html)
uid = html.find(name = 'a',attrs = {
"class":"title"})
# print(uid)
#