基于python的今日头条文章抓取内含signature算法

最新推荐文章于 2024-09-11 19:59:40 发布
最新推荐文章于 2024-09-11 19:59:40 发布
阅读量1.9k 收藏 3
点赞数 1
分类专栏： JavaScript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qiled/article/details/112974452
版权

基于python的今日头条文章抓取内含signature算法

扫二维码添加微信 备注:爬虫 , 拉你进爬虫交流群 或许你会成为第一个加群的人~ 刚有的创群想法！
在这里插入图片描述

1. 简单文字描述头条爬虫注意点

由于还没有大批量爬取测试，这里只能作为参考！
例如我们现在需要爬取右边的头条链接 https://www.toutiao.com/a6920021307803468302/
我们用python编写代码会发现，返回的并不是文字主题，而已简单的html代码，其中包含了一些script脚本

<html><head><meta charset="UTF-8" /></head><body></body><script src='https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js'></script><script>function _f1(e,t){if("string"!=typeof t)return;var o,n=e+"=",r=t.split(/[;&]/);for(var e=0;e<r.length;e++){for(o=r[e];" "===o.charAt(0);)o=o.substring(1,o.length);if(0===o.indexOf(n))return o.substring(n.length,o.length)}return""}function _f2(e){return _f1(e,document.cookie)}function _f3(e,t,o){try{o&&(window.sessionStorage&&window.sessionStorage.setItem(e,t),window.localStorage&&window.localStorage.setItem(e,t));var n=31536e6;document.cookie=e+"=; expires=Mon, 20 Sep 1970 00:00:00 UTC; path=/;",document.cookie=e+"="+t+"; expires="+new Date((new Date).getTime()+n).toGMTString()+"; path=/;"}catch(e){}}window.byted_acrawler.init({aid:99999999,dfp:!0});var __ac_nonce=_f2("__ac_nonce"),__ac_signature=window.byted_acrawler.sign("",__ac_nonce);_f3("__ac_signature",__ac_signature),_f3("__ac_referer",document.referrer||"__ac_blank",!0);try{sessionStorage.setItem("__ac_ns",performance.timing.navigationStart)}catch(e){};window.location.reload();</script></html>

其中https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js这里是计算signature的代码，然后我们还可以看到上面的代码中有下面这2块代码。
它是我们能否得到正确的得到文章数据的关键因素。然后就是扣代码和补全浏览器环境。具体看代码实现吧。

var __ac_nonce=_f2("__ac_nonce"),
__ac_signature=window.byted_acrawler.sign("",__ac_nonce)

2. 附件代码

链接: https://pan.baidu.com/s/1OQMLsamt_Vhhj8zGAiGcRw 提取码: t6zf

Qiled
关注
专栏目录
Python爬虫逆向案例:某日头条signature参数分析
2201_76125393的博客
02-23 648
今天来看一下新闻网站，分析一下参数。
使用Python爬取黑猫投诉（含signature参数分析与算法还原）
最新发布
吴秋霖的博客
09-15 1405
使用Python爬取某猫投诉的数据（包含加密参数分析与算法的还原）
抖音signature获取
Tomorrow_a的博客
07-24 1580
<!DOCTYPE html> <script type="text/javascript"> !function(t) { if (t.__M = t.__M || {}, !t.__M.require) { var e, n, r = document.getElementsByTagName("head")[0], i = {}, o = {}, a = {}, u = {}, c = {}, s = {}, l = funct
软件测试 —— Fiddler工具移动端抓包实操！
09-11 1575
Fiddler是一款功能强大的抓包工具，主要用于记录和分析客户端与服务器之间的HTTP/HTTPS通信，也是软件测试工作中常用的抓包工具。这里分享如何使用fiddler进行移动端的抓包。
头条的_signature这个如何_python 简单爬取今日头条热点新闻
weixin_39839410的博客
12-05 732
今日头条如今在自媒体领域算是比较强大的存在，今天就带大家利用python爬去今日头条的热点新闻，理论上是可以做到无限爬取的；在浏览器中打开今日头条的链接，选中左侧的热点，在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件，查看该文件发现新闻内容的数据全部存储在data里面，且能发现数据类型为json；如下图：这样一来就简单了，只要找到这个文件的r...
使用js抓取今日头条的文章
weixin_33709364的博客
12-13 760
首先验证头条接口是否支持jsonp，在接口地址的参数中添加callback=callhttp://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A4...
抓取头条易读文章
weixin_45468627的博客
08-05 148
import requests from lxml import etree import pandas as pd import time headers = { ‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36’ } user_data = [] def get_data(page): for i in r
使用python对json文件的分析爬取今日头条的文章并进行处理
08-05
使用python对json文件的分析爬取今日头条的文章并进行处理.
python爬虫爬取今日头条_python 简单爬取今日头条热点新闻(一)
weixin_39817176的博客
11-20 919
今日头条如今在自媒体领域算是比较强大的存在，今天就带大家利用python爬去今日头条的热点新闻，理论上是可以做到无限爬取的；在浏览器中打开今日头条的链接，选中左侧的热点，在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件，查看该文件发现新闻内容的数据全部存储在data里面，且能发现数据类型为json；如下图：这样一来就简单了，只要找到这个文件的r...
烯牛数据Python爬虫（payload、sig加密算法）
03-17
在IT领域，Python爬虫是一种常见的数据获取工具，它能够自动化地从互联网上抓取大量信息。本项目专注于"烯牛数据"的Python爬虫实现，涵盖了payload和sig参数的加密算法分析及还原，这对于理解网络请求过程以及数据...
最新巨量X-Bogus、_signature参数逆向分析与算法还原
吴秋霖的博客
05-12 2451
最新巨量X-Bogus、_signature参数逆向分析！数据加密Hook、插桩分析与解密算法实现！
抓取 开发者头条 分享的所有文章
08-14
NULL 博文链接：https://rensanning.iteye.com/blog/2314282
今日头条爬虫 python
03-22
今日头条爬虫。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
巨量指数signature
李玺
09-27 8944
巨量算数指数的signature签名和返回data的解密。
今日头条“科技”，“娱乐”类文章的抓取
frank_07的博客
03-09 1594
import multiprocessing from selenium import webdriver import time from bs4 import BeautifulSoup import requests #将结果写入'articles.csv' fw=open('articles.csv','a',encoding='utf8') #请求头 headers={ 'U...
头条的_signature这个如何_爬虫爬取今日头条数据代码实现
weixin_39748773的博客
11-21 810
课程链接https://www.greedyai.com/my/course/91讲师的公众号文章：今日头条数据抓取及持久化(完整代码版,含IP和用户代理)​mp.weixin.qq.com课程代码抓取并持久化user-agent工具utils.py对于爬虫工具，需要设置发起请求的user-agent，import fake-useragent可以实现，但是每次更换user-agent都要发起网络...
signature生成算法
小龙在线
03-14 6495
第一步 扣取HTML代码 &lt;!DOCTYPE html&gt; &lt;html style="font-size: 50px;"&gt;&lt;head&gt;&lt;meta http-equiv="Content-Type" content="text/html; charset=UTF-8"&gt; &lt;title&gt;抖音_signature破解
Python爬取今日头条热门文章
qq_41765777的博客
12-29 4054
今日头条文章收益是没有任何门槛，只要是你发布文章，每篇文章的阅读量超过1000就能有收益，阅读量越多收益越高。于是乎我就有了个大胆的想法。何不利用Python爬虫，爬取热门文章，然后完成自动化发布文章呢？这不就完成了我多年以来躺着赚钱的愿望了嘛。说干就干，于是乎就有了下面的操作。我的思路是这样的，因为娱乐版块的文章更容易上热门，于是我就以娱乐版块为突破口。
dy之__ac_signature
自成背后的博客
03-28 3984
dy__ac_signature
Python爬虫实践：今日头条文章视频抓取
资源摘要信息:"该资源是一个基于Python的今日头条爬虫项目，旨在爬取今日头条的文章和视频内容，并提供了源代码和相关文档说明。项目包含以下关键技术点和知识点： 1. **抓包技术**：项目使用了Fiddler工具在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值