腾讯视频评论
以最近火热的电视剧<香蜜沉沉烬如霜>为例,用fiddler抓包分析爬取腾讯动态视频
import urllib.request
import re
vid='2942827004'
cid='0'
for i in range(0,100): #爬取100次翻页
try:
print('.....正在输出第'+str(i+1)+'页的评论......')
url='https://video.coral.qq.com/varticle/'+str(vid)+'/comment/v2?callback=_varticle'+str(vid)+'commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cid)+'&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=9'
data=urllib.request.urlopen(url).read().decode('utf-8','ignore')
pat='"content":"(.*?)"'
allcomment=re.compile(pat,re.S).findall(data)
#构建正则实现下一页的关键词提取,实现换页
pat_cid='"last":"(.*?)"'
#没有下一页的数据,匹配不处理,异常处理
try:
cid=re.compile(pat_cid,re.S).findall(data)[0]
#得到cid,切记得到的是列表,需要取其第一个元素
except Exception as err:
print('没有新评论了')
break
#实现每一页中的数据读取
for comment in allcomment:
print(eval("u'"+str(comment)+"'"))
#eval将Unicode编码数据转换为中文数据,eval() 函数用来执行一个字符串表达式,并返回
表达式的值
except Exception as err:
pass
文章持续更新中。。。。。。