搜狗微信爬取 保存网页

建议再看我的之前 一点要先去看一看 这一篇 会更好理解 一些
因为 我也是在 url解码 这里卡起了 每次取出来都不是 正确的 url 而且 刚开始每次取出url还会变

本文链接：https://blog.csdn.net/qq_42636010/article/details/94321049

1.首先我先封装了一个ip 和 ua 代理池 因为同一个很有可能被封 ，但是我爬取的时候嫌麻烦就用一个 好像也没问题 不过安全一点 还是 多弄几个 如果不知道 从哪里拿到 免费代理ip 可以在这个网站 看一看 https://ip.jiangxianli.com/ 我自己用起来 感觉还行

#构建一个 ua_ip 函数
def ua_ip(myurl):
    from urllib import request
    import random
    try:
        # 1.建立用户代理池
        # 1.1建立一个 用户池
        agents = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.3 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.277.400 QQBrowser/9.4.7658.400",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0"
        ]
        # 1.2  封装一个函数 来保存  头部信息
        def ua():
            a = random.choice(agents)
            headers = {"User-Agent": a}
            print("当前use_agent:",headers)
            return headers
        # 2.建立ip代理池
        # 2.1 建立一个ip池
        ips = [
            "34.203.248.159:80",
        ]
                                                       #使用时要自己填重新多找几个ip
        # 2.2 封装函数 换ip
        def ippools():
            b = random.choice(ips)
            print('当前ip：',b)
            proxy = request.ProxyHandler({"http": b})
            opener = request.build_opener(proxy, request.HTTPHandler)
            request.install_opener(opener)            #安装为全局变量

        ippools()
        thisheaders = ua()
        rep = request.Request(myurl, headers=thisheaders)
        resp = request.urlopen(rep)  # 得到的是网页源代码的内容
        text = resp.read().decode('utf-8', 'ignore')
        #print(len(text))  # 这步可以在经行检验是爬取成功
        return text          #这步检验后 返回数据
    except Exception as err:
        print(err)

2.爬取

from uaip import *
from urllib import request
import re
import random
import time
try:
    def url_decode(r):
        url = 'https://weixin.sogou.com' + r
        b = random.randint(1, 101)
        a = url.index('url=')
        a = url[a + 25 + b:a + 26 + b:]
        url += '&k=' + str(b) + '&h=' + a
        return url
    #这个 是  把假的 herf  变为 真的 herf
    key='python'
    key1=request.quote(key)
    for i in range(1,2):
        url='https://weixin.sogou.com/weixin?query='+key1+'&type=2&page='+str(i)+'&ie=utf8'
        thispagedata=ua_ip(url)
        #pat='<div class="txt-box">.?<h3>.?<a target="_blank" href="(.*?)"'
        pat='<div class="txt-box">.*?href="(.*?)"'
        txt=re.compile(pat,re.S).findall(thispagedata)
    #拿到 所有目标 的 herf  （但目前不是真的）
        for j in range(0, len(txt)):
            r = txt[j]
            url = url_decode(r)
            print(url)
             text=ua_ip(url)
            fh = open("F:\\一个项目\\一个项目\\搜狗微信爬取\\wenzhang"+'第'+str(i)+'页'+'第'+str(j)+'篇'+".html", "w")
            fh.write(text)
            fh.close()
            time.sleep(5)
except  Exception as err:
    print(err)

3.补充 对于 这一步 当初我也是很难啊 我自己查了慢慢翻译 还是有两处不懂 如果有懂的大佬，可不可以提携一哈小弟，留个言

 def url_decode(r):
        url = 'https://weixin.sogou.com' + r
        b = random.randint(1, 101)
        a = url.index('url=')
        a = url[a + 25 + b:a + 26 + b:]
        url += '&k=' + str(b) + '&h=' + a
        return url

这是我自己的翻译

#jsonscript 语言

''''(function(){$("a").on("mousedown click contextmenu", function()
{var b = Math.floor(100 * Math.random()) + 1,     #floor() 方法返回小于等于x的最大整数。
     a = this.href.indexOf("url="),
     c = this.href.indexOf("&k=");
    -1 != = a & & -1 == = c & & (a=this.href.substr(a+4+parseInt("21") + b, 1), this.href += "&k=" + b + "&h=" + a)})})();'''
    这个是可以在这里看到
  
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201230230820282.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzUwOTU4NzA5,size_16,color_FFFFFF,t_70#pic_center)

#1.对b Math 为jsonscript 的一个函数吧 类似python中的库吧
#b = Math.floor(100 * Math.random()) + 1,
# floor() 方法返回小于等于x的最大整数
#random() 方法可返回介于 0（包含） ~ 1（不包含） 之间的一个随机数。    100*Math.random()  即在 0-100   然后+1  即为 取   [1,100]

#2.对a，c
#indexOf() 方法可返回数组中某个指定的元素位置。  对应 python中 index函数


#对最后一个

#  ===  值及类型均相等（恒等于）      比如 x=5   x==='5' 就是错的 因为 这里的 ’5‘ 为 str   x===5 就对了
#  !==  值与类型均不等（不恒等于）    反上
#   parseInt() 函数可解析一个字符串，并返回一个整数。
#   这里  parseInt("21")  即 把 str 的 21 变为 int 21
#  substr(start,length) 的参数指定的是子串的开始位置和长度  相当于python 中切片操作 [a:b:c]  a代表开始位置 b 代表结束位置 c 代表间距
#这里   substr(a+4+parseInt("21") + b, 1)   代表a+4+21+b 字符串开始的位置       1，代表 每次取一个
#下面是 自己去一个 实验的过程
import random
r='/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6cwJThYulHEtVjXrGTiVgS45UuJmNGnllBNahuYa5lW1Mx8SCKgzSSlqXa8Fplpd9p9x6QBEwguXvMkivWz8CXgyqv0qcCbCRxZ5xQYH30-PPFPGYCeYnIfreZgCLl8kMn0JiI_vWwZnWbIXvtGLPgFEuklVA4DTOS-35-3IR6iNlhNnD5nToLsgqyraiTryMiXbVNPDKKmS70ihszpB8M2ZSkWHJUsXI5pn6TmgLco7vzHZXxeLdyg..&type=2&query=python&token=F672C999E20BEEBF0802BFA6BADB7FB108443BC95FEC84D4'
url = 'https://weixin.sogou.com' + r
b=random.randint(1,101)
a=url.index("url")
a=url[a+25+b:a+26+b:]
url=url+'&k=' + str(b) + '&h=' + a
print(url)

对于我不懂得地方 就是这两处 有什么作用 ？为什么改写为python不写上去？
诚挚的感谢，知道的大佬留言

 c = this.href.indexOf("&k=")
  -1 != = a & & -1 == = c