Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

最新推荐文章于 2023-07-31 16:42:17 发布
最新推荐文章于 2023-07-31 16:42:17 发布
阅读量1.2k 收藏
点赞数
分类专栏： 编程 程序员 python 文章标签： python 爬虫 pycharm django 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kj7762/article/details/120455971
版权
本文介绍了如何使用Python爬虫抓取新浪新闻中由JS加载且数据存在于函数中的新闻内容。通过分析JS请求，提取url、title和intro等关键参数，利用正则表达式和解码技巧，成功获取新闻的URL、标题和简介。
摘要由CSDN通过智能技术生成

昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！

抓取目标

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

但是发现有个js的请求，点击请求，是一行js函数代码，我们将其复制到json的视图查看器中，然后格式化一下，看看结果

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

最低0.47元/天 解锁文章
燕山588
关注
专栏目录
python爬取动态网页_Python爬虫实战入门五：获取JS动态内容—爬取今日头条
weixin_39787057的博客
11-20 990
之前我们爬取的网页，多是HTML静态生成的内容，直接从HTML源码中就能找到看到的数据和内容，然而并不是所有的网页都是这样的。有一些网站的内容由前端的JS动态生成，由于呈现在网页上的内容是由JS生成而来，我们能够在浏览器上看得到，但是在HTML源码中却发现不了。比如今日头条：浏览器呈现的网页是这样的：查看源码，却是这样的：网页的新闻在HTML源码中一条都找不到，全是由JS动态生成加载。遇到这种情况...
如何用python抓取js生成的数据 - SegmentFault
03-04 204
如何用python抓取js生成的数据 - SegmentFault 如何用python抓取js生成的数据 - SegmentFault如何用python抓取js生成的数据 1赞 踩 收藏想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓...
python爬取js_python如何爬取js生成的数据？
weixin_39852491的博客
11-23 139
回答中有童鞋说到了分析接口，直接爬接口，这是可行的，并且直接爬接口还不需要自己解析HTML了，因为大部分接口返回的都是json，想想都觉得开心呀~不过还是有别的方法，例如使用Phantomjs，简单易用，Python并非全能，搭配其他工具会发挥更大的价值，我自己也有一些小项目是这样的组合。这是官方的一个实例代码，稍加改造就可以达成目的了。console.log('Loading a web pag...
爬虫工程师也应该会的 NodeJS 知识（一）
咸鱼学Python的博客
06-30 330
NodeJS 是什么？Node.js 是基于 “ Chrome V8 引擎 ” 的 JavaScript 运行环境V8 引擎是一款专门解释和执行 JS 代码的虚拟机，任何程序只要集成了 ...
从零开始学python（十三）爬虫工程师自动化和抓包
最新发布
ch950401的博客
07-31 2708
1.跟我一起从零开始学python（一）编程语法必修2.跟我一起从零开始学python（二）网络编程3.跟我一起从零开始学python（三）多线程/多进程/协程4.跟我一起从零开始学python（四）数据库编程：MySQL数据库5.跟我一起从零开始学python（五）数据库编程：Redis数据库6.跟我一起从零开始学python（六）数据库编程：MongoDB数据库7.跟我一起从零开始学python（七）机器学习8.跟我一起从零开始学python（八）全栈开发。
python爬虫解析js_python爬虫解析js
weixin_39602637的博客
11-29 757
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！location.href = localstorage.getitem(url) || :toast(e.msg || 登录出错) }) }) : toast(e.msg) }) }从代码中我们知道:我们要登录需要对密码进行加密和获取rkey字段的值rkey字段的值我们直接发送请求...
python抓取js_python能否抓取js中的内容，并且获取里面的结果
weixin_33614878的博客
01-29 540
python中是否可以直接调用网页中下面的JS函数，获取需要的结果值？function loadTaskInfo(taskId){HYIP.ajax("/ntask/loadAdvTaskInfo.html",{taskId:taskId},function(data){var result = data.data;if(result!=null){var taskName = result.ta...
python获取的网页的js_Python爬虫：获取JS动态内容
weixin_39622123的博客
11-20 249
经过一段时间的python学习，能写出一些爬虫了。但是，遇到js动态加载的网页就犯了难。于是乎谷歌、百度，发现个好介绍http://www.jianshu.com/p/4fe8bb1ea984主要就是分析网页的加载过程，从网页响应中找到JS脚本返回的JSON数据。（上边的网址介绍很详细，下边就直接贴代码，记录下）1、今日头条的#coding：utf-8importrequestsimportjso...
python爬虫学什么知识点_JS是学习python爬虫必要了解的知识点吗
weixin_39646725的博客
02-21 213
额,是这样的,因为有时候抓取某些网址的数据,需要登陆,所以,这段时间我在弄python模拟登陆网址的问题,但是我发现,有些网址,在python提交的post数据中,有些事js计算出来的,看不懂js那就没办法了把?举一个例子把.这两天我在为 IP地址查询 - 站长工具 写程序,内容是用python抓取这ip查询网址的查询结果,使用query string的程序我已经写出来了,但是当我想要用pytho...
python爬取js加载的数据_JS动态加载数据不会爬？老司机教你两个方法爬取想要的数据...
weixin_39758696的博客
12-01 1300
学习Python的人绝大部分都是在用Python做爬虫，毕竟对于爬虫而言Python是不二选。但是一般简单的静态页面网站还是很好爬取的，对于很多动态加载的网站就不知道怎么办了，今天小编就给大家介绍两种爬取js加载的动态数据，希望对爬虫方面有所帮助！今天咱们就以高考查询网站为例！如何知道这个网站是动态加载的数据？用浏览器，这里小编建议使用火狐或者谷歌这个想必大家都知道的打开你网页，右键查看页面源代码...
python爬取js script中的变量_BeautifulSoup抓取js变量
weixin_39841136的博客
12-05 4447
页面代码：< div class="myplayer" >< div class="m1938" >< script type="text/javascript" >var player_data={"flag":"play","encrypt":0,"trysee":0,"points":0,"link":"\/index.php\/vod\/play\/id...
python爬取js script中的变量_在Python中获取脚本标记内的变量数据或从js中添加的内容...
weixin_39774905的博客
12-05 825
编辑这将使用re模块来提取数据并将其作为JSON加载：import urllibimport jsonimport refrom bs4 import BeautifulSoupweb = urllib.urlopen("http://www.nasdaq.com/quotes/nasdaq-financial-100-stocks.aspx")soup = BeautifulSoup(web.r...
python3 selenium + fiddler 爬取动态js页面数据
caibaozhuo7024的博客
08-01 609
一、 分析：抓取动态页面js加载的人民日报里面的新闻详情 https://wap.peopleapp.com/news/1先打开，然后查看网页源码，发现是一堆js，并没有具体的每个新闻的url详情，于是第一反应，肯定是js动态加载拼接的url。然后接着按f12 查看，就看url，发现出来了好多url。然后点击具体的某一个新闻详情页面，查看url，把这个url的 后面两个数字其中一个拿到访问主页的...
python爬取js数据_python如何爬取js生成的数据？
weixin_36452340的博客
02-21 1273
回答中有童鞋说到了分析接口，直接爬接口，这是可行的，并且直接爬接口还不需要自己解析HTML了，因为大部分接口返回的都是json，想想都觉得开心呀~不过还是有别的方法，例如使用Phantomjs，简单易用，Python并非全能，搭配其他工具会发挥更大的价值，我自己也有一些小项目是这样的组合。这是官方的一个实例代码，稍加改造就可以达成目的了。console.log('Loading a web pag...
python 爬虫如何获取js里面的内容
热门推荐
hanchaobiao的博客
06-13 6万+
在编写爬虫软件时发现无法获取到新浪新闻评论的条数，最后发现因为它是存放在js中的，本文就讲述如何从js中获取页面需要的数据内容
python爬取js_利用python如何爬取js里面的内容
weixin_39639965的博客
11-20 3126
本篇文章给大家分享的内容是3利用python如何爬取js里面的内容 ，有着一定的参考价值，有需要的朋友可以参考一下一、在编写爬虫软件获取所需内容时可能会碰到所需要的内容是由javascript添加上去的 在获取的时候为空 比如我们在获取新浪新闻的评论数时使用普通的方法就无法获取普通获取代码示例：import requestsfrom bs4 import BeautifulSoupres = re...
逆向爬虫22 Javascript快速入门
weixin_40743639的博客
02-26 1519
从逆向破解阅读JS角度介绍JS的常见语法规则。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值