爬取腾讯视频评论

因为是 A jax异步请求（滑动有新内容出来那种 或者 点击加载更多那种） 数据
这里采用了 fiddler 经行抓包 获取数据 fiddle的安装可以看这里

1.进行抓包后 得到 url 后在经行 url 的分析找出规律
这是得到的前几个 url 本来最后还有 一些东西 但是我检测后 发现 不要后面的数字也可以定位到网页
这里可以看到 他们的 cursor明显不同 说明关键的规律就在这里了
但是这个规律，我当时也是不知道怎么下手 就 去搜了一哈 就是这里

然后下面我一样操作了后发现 可能反爬更新了 这里并不是 last 是下一个的sursor 但是效果确实一样的

这是接下来的图
然后url 规律有了后 就可以开始爬取了

#构建一个 ua_ip 函数
def ua_ip(myurl):
    from urllib import request
    import random
    try:
        # 1.建立用户代理池
        # 1.1建立一个 用户池
        agents = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.3 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.277.400 QQBrowser/9.4.7658.400",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0"
        ]
        # 1.2  封装一个函数 来保存  头部信息
        def ua():
            a = random.choice(agents)
            headers = {"User-Agent": a}
            print("当前use_agent:",headers)
            return headers
        # 2.建立ip代理池
        # 2.1 建立一个ip池
        ips = [
            "34.203.248.159:80",
            "140.82.42.10:80",
            "34.203.248.159:80",
            "136.243.254.196:80"
        ]
                                                       #使用时要自己填重新填ip
        # 2.2 封装函数 换ip
        def ippools():
            b = random.choice(ips)
            print('当前ip：',b)
            proxy = request.ProxyHandler({"http": b})
            opener = request.build_opener(proxy, request.HTTPHandler)
            request.install_opener(opener)            #安装为全局变量

        ippools()
        thisheaders = ua()
        rep = request.Request(myurl, headers=thisheaders)
        resp = request.urlopen(rep)  # 得到的是网页源代码的内容
        text = resp.read().decode('utf-8', 'ignore')
        #print(len(text))  # 这步可以在经行检验是爬取成功
        #print(text)
        return text          #这步检验后 返回数据
    except Exception as err:
        print(err)

#自动爬取   A jax异步请求（滑动有新内容出来那种 或者  点击加载更多那种）   数据
#爬取腾讯视频评论
from uaip import *
import re
import time
def cursor(url):             #从得到的url网页源代码中  在不断提取 last
    text = ua_ip(url)
    pat = '"last":"(.*?)"'    #返回一个列表
    txt = re.compile(pat).findall(text)
    return txt
def urll(cursor):            #通过得到的上一个网页提出的  last 对应的 来组合成新的 url
    url='https://video.coral.qq.com/varticle/6271326057/comment/v2?callback=_varticle6271326057commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cursor)+'&orirepnum=2&reporder=o&reppageflag=1&source=132'
    return url
try:
    urls=[]
    url1='https://video.coral.qq.com/varticle/6271326057/comment/v2?callback=_varticle6271326057commentv2&orinum=10&oriorder=o&pageflag=1&cursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132'
    urls.append(url1)    #这里是我没有找到第一页得url与其他的规律  所以建一个空列表 把它存进去
    url='https://video.coral.qq.com/varticle/6271326057/comment/v2?callback=_varticle6271326057commentv2&orinum=10&oriorder=o&pageflag=1&cursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132'
    #print(cursor(url))
    for i in range(1,3):
        last=cursor(url)
        last=last[0]
        url=urll(last)
        urls.append(url)
        time.sleep(2)
    #print(urls)
    #得到  url的一个列表 urls
    for j in range(0,len(urls)):
        text=ua_ip(urls[j])
        pat='"content":"(.*?)"'
        txt=re.compile(pat).findall(text)
        #print(txt[0])
        for k in range(0,len(txt)):
            fh=open("F:\\一个项目\\一个项目\\腾讯视频评论\\"+"第"+str(j+1)+"页"+"第"+str(k)+"条评论.txt","w",encoding='utf-8')
            fh.write(txt[k])
            fh.close()
        time.sleep(2)
        print("爬取成功")
except Exception as err:
    print(err)