香蜜沉沉烬如霜视频评论抓取

腾讯视频评论

以最近火热的电视剧<香蜜沉沉烬如霜>为例,用fiddler抓包分析爬取腾讯动态视频

import urllib.request
import re
vid='2942827004'
cid='0'
for i in range(0,100):  #爬取100次翻页
    try:
        
        print('.....正在输出第'+str(i+1)+'页的评论......')
        url='https://video.coral.qq.com/varticle/'+str(vid)+'/comment/v2?callback=_varticle'+str(vid)+'commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cid)+'&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=9'
        data=urllib.request.urlopen(url).read().decode('utf-8','ignore')
        pat='"content":"(.*?)"'
        allcomment=re.compile(pat,re.S).findall(data)
        #构建正则实现下一页的关键词提取,实现换页
        pat_cid='"last":"(.*?)"'  
        #没有下一页的数据,匹配不处理,异常处理
        try:    
            cid=re.compile(pat_cid,re.S).findall(data)[0]  
            #得到cid,切记得到的是列表,需要取其第一个元素
        except Exception as err:    
            print('没有新评论了')
            break
        #实现每一页中的数据读取
        for comment in allcomment:      
            print(eval("u'"+str(comment)+"'"))   
            #eval将Unicode编码数据转换为中文数据,eval() 函数用来执行一个字符串表达式，并返回        
            表达式的值
        
    except Exception as err:
        pass
            

文章持续更新中。。。。。。