搜狗微信 长链接转微信链接

已于 2022-06-08 14:23:01 修改
阅读量1.2k 收藏 3
点赞数 1
分类专栏： python 文章标签： python 爬虫 js 搜狗
于 2021-07-20 16:41:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41390161/article/details/118938556
版权

背景：搜狗微信下文章采集

搜索关键词在未登录情况下，默认最多只能获取10页文章，且dom中文章链接是有有效期的，本人测试有效期大概是2个小时左右。分析过程暂时不写，直接上代码。
import json
import random
import traceback
import re
import requests


class wx_spider(object):
    def __init__(self):pass;

    def get_real_url(self,url,html_str):
        real_url = ''
        try:
            cookie = self.get_cookie()
            headers = {
                "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
                "Cookie": cookie
            }
            url = self._wx_get_k_h(url)

            r = requests.get(url=url, headers=headers, stream=True, verify=False)
            real_url = ''.join(re.findall("url \+= '(.*?)'", r.text)).replace("@", "")
        except:
            print(traceback.format_exc())
        return real_url

    def get_pc_useragent(self):
        pc_useragent_list = [
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.3",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.83 Safari/537.1",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393",
            "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.83 Safari/537.1",
            "Mozilla/5.0 (Windows NT 5.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
        ]
        return random.choice(pc_useragent_list)

    def get_cookie(self,html_str,content_url):
        try:
            headers = {'User-Agent': self.get_pc_useragent()}
            debug_mode = False
            ret = {'success': 0, 'msg': '', 'info': {}, 'debug': {}, 'code': 0}
            uigs_para = self._wx_get_uigs_para(html_str)
            if len(uigs_para) == 0:
                return ''
            if debug_mode: ret['debug']['uigs'] = uigs_para
            params = self._wx_get_cookie(uigs_para, headers, content_url)
            if debug_mode: ret['debug']['cookie'] = params
            Cookie = "SNUID={}; SUV={}".format(params['SNUID'], params['SUV'])
            return Cookie
        except:
            print(traceback.format_exc())
            return ''

    def _wx_get_cookie(self,uigs_para, headers, content_url):
        cookie_params = {"SNUID": uigs_para['snuid']}
        url = "https://www.sogou.com/sug/css/m3.min.v.7.css"
        headers = {
            "Accept": "text/css,*/*;q=0.1",
            "Accept-Encoding": "gzip, deflate, br",
            "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
            "Connection": "keep-alive",
            "Cookie": "SNUID={}".format(cookie_params['SNUID']),
            "Host": "www.sogou.com",
            "Referer": "https://weixin.sogou.com/",
            "User-Agent": headers.get('User-Agent', '')
        }
        response2 = requests.get(url, headers=headers, stream=True, verify=False)
        SetCookie = response2.headers['Set-Cookie']
        cookie_params['SUID'] = re.findall('SUID=(.*?);', SetCookie, re.S)[0]

        url = "https://weixin.sogou.com/websearch/wexinurlenc_sogou_profile.jsp"
        headers = {
            "Accept": "*/*",
            "Accept-Encoding": "gzip, deflate, br",
            "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
            "Connection": "keep-alive",
            "Cookie": "SNUID={}".format(cookie_params['SNUID']),
            "Host": "weixin.sogou.com",
            "Referer": content_url,
            "User-Agent": headers.get('User-Agent', '')
        }
        response3 = requests.get(url, headers=headers, stream=True, verify=False)
        SetCookie = response3.headers['Set-Cookie']
        cookie_params['JSESSIONID'] = re.findall('JSESSIONID=(.*?);', SetCookie, re.S)[0]

        url = "https://pb.sogou.com/pv.gif"
        headers = {
            "Accept": "image/webp,*/*",
            "Accept-Encoding": "gzip, deflate, br",
            "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
            "Connection": "keep-alive",
            "Cookie": "SNUID={}".format(cookie_params['SNUID']),
            "Host": "pb.sogou.com",
            "Referer": "https://weixin.sogou.com/",
            "User-Agent": headers.get('User-Agent', '')
        }
        response4 = requests.get(url, headers=headers, params=uigs_para, stream=True, verify=False)
        SetCookie = response4.headers['Set-Cookie']
        cookie_params['SUV'] = re.findall('SUV=(.*?);', SetCookie, re.S)[0]
        return cookie_params

    def _wx_get_uigs_para(self,html_str):
        if 'var uigs_para = ' in html_str:
            uigs_para = re.findall(r'var uigs_para = (.*?);', html_str, re.S)[0]
            if 'passportUserId ? "1" : "0"' in uigs_para:
                uigs_para = uigs_para.replace('passportUserId ? "1" : "0"', '0')
            uigs_para = json.loads(uigs_para)
            exp_id = re.findall('uigs_para.exp_id = "(.*?)";', html_str, re.S)[0]
            uigs_para['right'] = 'right0_0'
            uigs_para['exp_id'] = exp_id[:-1]
            return uigs_para
        else:
            print('页面错误')
            return {}

    def _wx_get_k_h(self,url):
        b = int(random.random() * 100) + 1
        a = url.find("url=")
        url = url + "&k=" + str(b) + "&h=" + url[a + 4 + 21 + b: a + 4 + 21 + b + 1]
        return url

if __name__ == '__main__':
    content_url = '***'  # 替换文章链接
    html_str = '***'  # 搜索页dom结构
    s  = wx_spider()
    s.get_real_url(content_url, html_str)
  • 有问题 欢迎大家评论指定。
杰克船长_中国分船
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
专栏目录
搜狗微信抓取（一）如何优雅的提取文章正文
BigBoy_Coder的博客
07-10 1170
微信搜索“菜鸟童靴”，选择“关注公众号” 我们一起开启Python进阶之旅！ 看到网上，有人说搜狗微信的文章的正文，用xpath不好提取，正好最近做这个搜狗微信搞了一下 后面继续会写，时间不定， （1）如何搜索通过搜索微信公众号，获取最新发表文章 （2）搜狗微信如何获取文章的真实链接， （3）如何临时链接转永久链接 问题一： 为什么明明原网页能看到正文内容，xpath抓不到呢 class="rich_media_content " 分析发现正文就在这div下，细心你的会发现.
搜狗微信临时链接的转换
yyz798002的博客
08-05 2710
搜狗微信临时链接的转换本文主要叙述的是如何获取搜狗微信的链接并转换成永久链对搜狗微信的分析获取uin和key来转换永久链接通过模拟浏览器然后安装插件获取永久链接 本文主要叙述的是如何获取搜狗微信的链接并转换成永久链 最近一直研究微信文章的爬取，这里是我总结的一些方法。 目前获得微信公众号文章最佳的路径就是搜狗微信，这大大减少了爬虫的工作量，但是搜狗微信上面的链接是临时的，需要我们去对链接进行转化，...
搜狗微信的链接并转换成永久链
qq_43533527的博客
07-26 1961
本文主要叙述的是如何获取搜狗微信的链接并转换成永久链 需求背景 在最近的任务中，需要获取搜狗微信的文章，可是这里的链接是临时的，有效访问时间也就是几个小时的时间，如果需要永久保存，就少不了对链接的转换。 解决方案 目前网上给的方案是通过这两个字段进行访问处理临时链接： 但uin和key又是什么？ uin：微信用户唯一标识。（这就意味着如果访问过于频繁可能被封号） key：转换临时链接到永久链接的凭据，分为公众号key（仅对当前公众号下的文章有效），万能key（可用于任何公众号的转换），有效期约为40分钟~2
Python爬虫（三）-----第一个爬虫
double_happy111的博客
11-25 765
Python爬虫（三）-----第一个爬虫 1.python的相应的爬虫模块 urllib模块 requests模块 2.requests模块 python中原生的一块基于网络请求的模块，功能非常强大，简单便捷，效率奇高 作用：模拟浏览器发送请求。 3.如何使用requests模块 指定url 发起请求 获取响应数据 持久化存储 4.环境准备 需要安装requests库 pip install reuqests 这个是从官网上下载库，由于国家的安全措施，我们可以使用国内源： 临时使用：
搜狗微信采集
小东升职记
11-26 1490
10月29日搜狗微信改版了，无法通过搜索公众号名字获取对应文章了，不过通过搜索主题获取对应文章还是可以的 目的：获取搜狗微信中搜索主题返回的文章。 　　涉及反爬机制：cookie设置，js加密。 按照正常的采集流程，此时按F12打开浏览器的开发者工具，利用选择工具点击列表中文章标题，查看源码中列表中文章url的所在位置，再用xpath获取文章url的值，也就是这个href的值，为避免混...
在微信小程序中打开的页面不能超过10个，达到10个页面后，就不能再打开新的页面
大雾起了清晨
12-30 2453
微信小程序路由跳转有个隐藏的坑，就是wx.navigateTo打开新页面，最多只能打开10个，超过10个之后就没反应，控制台也不会报错。
浅谈Java代码的 微信长链转短链接口使用 post 请求封装Json(实例)
10-19
下面小编就为大家带来一篇浅谈Java代码的 微信长链转短链接口使用 post 请求封装Json(实例)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
实用的微信API长链接转短链接程序，delphi开发
11-30
实用的微信API长链接转短链接程序，delphi开发.
delphi开发微信API程序（长链接转短链接）
11-28
delphi开发微信API程序（长链接转短链接），自己写的，用微信提供的API，长链接转短链接。使用方便
长链接转短链接
01-12
3. 私人分享：长链接容易出错，短链接更便于口述和复制。 4. 网页统计：通过短链接可以监控点击次数，了解流量来源。 五、短链接的挑战与优化 随着互联网的发展，短链接的需求越来越大，也带来了一些挑战。如短链接...
长链接异步联网转换为短链接
06-06
这个是一个Android Demo, 利用百度长连接转为短链接的接口，异步联网调用。把我们平时用到的那些长连接转为短链接，这样可以省去一些资源，发短信，转为二维码都可以省下很大空间。此Demo 是在Edittext里面填好你的...
python抓取搜狗微信公众号文章
12-31
初学python，抓取搜狗微信公众号文章存入mysql mysql表： 代码： import requests import json import re import pymysql # 创建连接 conn = pymysql.connect(host='\u4f60\u7684\u6570\u636e\u5e93\u5730\u5740', port=端口, user='\u7528\u6237\u540d', passwd='\u5bc6\u7801', db='\u6570\u636e\u5e93\u540d\u79f0', charset='utf8') # 创建游标 cursor = conn.cursor() cursor.execute(select * from hd_gzh) effect_row = cursor.fetchal
微信公众号文章-无限制抓取
03-10
使用公众号文章编辑链接的方案, 突破搜狗方案10条的限制~~~ ;-) 新增公众号内, 百度网盘链接和密码的抓取. (指定method为baidu_pan_links) 新增全部html页面抓取方法 -method whole_page 添加todo.list 与 mask 变量 准备 首先你需要有一个 微信公众号, 注册很简单 python 3.6 下载ChromeDriver 在第一次登陆时, 需要使用其手动登录. 安装依赖
python爬虫爬取微信_Python爬虫爬取微信公众号历史文章全部链接
weixin_39559079的博客
11-24 300
因为朋友问我能不能找一下一个微信公众号的全部历史文章的链接，我就帮他弄了一下，通过百度和谷歌发现现在大家爬微信公众号的思路基本都是下面两种：通过搜狗搜索微信公众号然后拿到链接通过fiddler检测手机微信拿到链接。经过考虑，首先放弃了搜狗，因为初步看了一下搜狗的公众号搜到的那里只有前十篇文章的链接。下面说一下我这次的思路。思路我在尝试抓取手机微信上的公众号的历史链接时，无意中发现，使用电脑上的微信...
搜狗微信的抓取总结
SailLiao
06-02 3473
最近抓取了搜狗微信的数据，虽然也破解了跳转之类的，但是最后因为抓取的链接有时效性放弃了，也总结下 目标网站 https://weixin.sogou.com/ 一样的，输入关键词，抓取列表，再回去跳转后的微信链接 前10页是可以随便看的，也不需要登录，10页之后的数据需要微信扫码登录，这一块没法破解 链接参数很多最后可以精简为 https://weixin.sogou.com/weixin?query=烽火&page=11&type=2 page就是页码，query就是关键..
爬虫自学day1：requests模块 爬取搜狗首页页面数据
You1022的博客
11-03 996
来自：B站学习视频 BV1VV411m78j 如何使用：（requests模块的编码流程）： 指定URL 发起请求 获取响应数据 持久化存储 代码： #爬取百度百科首页的页面数据 import requests if __name__ == "__main__": #1、指定url url = 'https://baike.baidu.com/' #2、发起请求用get方法获取一个响应对象 response = requests.get(url=url) #3、获
基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出
As的博客
03-18 1616
最近有这么一个业务需求，需要用到搜狗微信去搜索公众号信息、搜索文章并拿到链接，然后通过抓包工具fiddler、微信PC端打开这个链接去获取阅读量，恩，核心部分就是这么个流程，其中我就负责了分析搜狗微信这块的流程，也就是文章标题所述。 其实做开发有几年了，平时负责的工作基本是安卓移动端的内容，但有幸之前接触过JSOUP这个框架，用网上的资源做播放器（看视频、听音乐），仅学习用，不作商业用途，最后没...
日志架构（五）WWW的日志采集和展望
报喜鸟
02-08 1806
[b]确定的方案[/b] 统一由前端发送日志到日志中心服务器 确定后端传递到前端的参数格式，参数名要求和日志规范中严格一致； 发送请求的时候，可以设置cookie参数和head参数 发送格式举例:http://analytics.xxxx.com/__utm.gif?a=11&b=222&c=333 公共参数需要写在JS组件中，例如版本信息，时间戳等 参数，统一要有前缀（utm，方便与...
python爬虫js加密篇—搜狗微信公号文章的爬取
小张Python
08-31 1913
今天这篇文章主要介绍的是关于微信公众号文章的爬取，其中里面主要涉及的反爬机制就是 js加密与cookies的设置 ； 微信公众号的上一个版本中的反爬机制中并没有涉及到js加密，仅通过监控用户ip，单个ip访问太频繁会面临被封的风险；在新的版本中加入了js加密反爬机制，接下来我们来逐步分析一下文章爬取过程 打开搜狗页面搜狗微信页面，在输入框中输入任意关键词例如火车隧道起火，搜出来的都是涉及关键词...
长链接转转链接 Android
最新发布
05-27
在 Android 中，我们可以使用 `HttpURLConnection` 或者 `OkHttp` 来实现长连接转短连接的功能。 1. 使用 HttpURLConnection ```java URL url = new URL("http://www.example.com"); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("Connection", "keep-alive"); connection.connect(); ``` 2. 使用 OkHttp ```java OkHttpClient client = new OkHttpClient.Builder() .connectionPool(new ConnectionPool(5, 30, TimeUnit.SECONDS)) .build(); Request request = new Request.Builder() .url("http://www.example.com") .header("Connection", "keep-alive") .build(); Response response = client.newCall(request).execute(); ``` 在上述示例代码中，我们同样是通过设置连接头部的属性为 keep-alive 来实现短连接转长连接的功能。需要注意的是，如果使用 OkHttp，我们需要设置连接池的大小，这样可以在一定程度上提高性能和效率。 需要注意的是，长链接和短链接的使用需要根据具体的场景和需求来进行选择，不能一概而论。同时，如果使用 OkHttp 的话，建议使用连接池来提高性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值