爬虫抓包思路

于 2020-11-14 23:56:05 发布
阅读量1.8k 收藏 5
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jingzhunhuoke9/article/details/109698780
版权
爬虫中使用浏览器进行数据抓包是一种常见的情况。在编写爬虫时，需要对采集的数据页面必须清楚。需要了解清楚在请求过程中的一切经过和需要返回的什么。
抓包作用：
1、解析请求，加入爬虫程序中，模拟用户，避免反爬。
2、登陆获取cookies，加入爬虫程序中，避免下次登陆，直接抓取相关数据
3、浏览器通过post请求时，就可以抓包观察发出的请求中是否包含了key和value
4、抓包可以直接抓取接口返回json数据，json数据提取方便
5、抓包可以避免一些网站网站的反爬和网站的验证码
抓包案例：
Chrome、Firfox都可以抓包，firefox developer edition抓包更加有效。
打开firefox浏览器使用developer edition版本，浏览器输入www.16yun.cn刷新后会进入开发者版本。可以看到一些数据代码

POST与GET请求抓包：
HTTP常见的请求就是GET和POST请求抓包
GET请求与POST请求，只要清楚请求原理，就能抓包到相关数据。
技术为辅，市场为王
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
怎么用jQuery做弹出窗口
12-30 1530
用jQuery做弹出窗口的方法：首先设置button标签的id为mybutton；然后通过id获得button对象，给它绑定click点击事件；最后当按钮被点击时，使用【confirm()】方法弹出对话框。本教程操作环境：windows7系统、jquery3.2.1版本，该方法适用于所有品牌电脑。推荐：jquery视频教程用jQuery做弹出窗口的方法：1、新建一个html文件，命名为test.html，用于讲解怎样使用jquery弹出对话框。2、在test.html文件内，使用button标签创
博客
php接入钉钉注册回调
12-30 388
示例框架-Yii2.0+mysql+crm+crm管理系统1:首先需要下载钉钉官方的提供的php加密Demo2:相信在做注册审批回调的博友们已经将接入了钉钉sdk，我就不一一展示1了接入流程了—直接上发起代码示例(aeskey必须是43为切记)3:官方开放平台提供的PHP Demo：pkcs7Encoder.php文件修改functionPrpcrypt($k){$this->key=base64_decode($k."=");}修改为构造函数形式：functio...
博客
lineout是什么接口
12-30 5949
lineout是音频线路输入接口，例如用户可以把其他播放器的声音信号通过line-in内录到电脑中；而line-out接口就是常用的音频线路输出，比较普及的应用就是电脑连接音箱。推荐：《编程视频》line-in接口是音频线路输入，例如你可以把其他播放器（复读机等非数字信号的）的声音信号通过line-in内录到电脑中。line-out接口就是最常用的音频线路输出，最普及的应用就是电脑连接音箱。mic接口就是麦克风接口，如果你有耳麦的话，就把麦克风接到这个口就行了。...
博客
mesh组网是什么意思
12-29 1197
mesh组网指“无线网格网络”，是“多跳multi-hop”网络，由ad hoc网络发展而来，是解决“最后一公里”问题的关键技术之一；无线mesh可以与其它网络协同通信，是一个动态的可以不断扩展的网络架构，任意的两个设备均可以保持无线互联。推荐：《编程视频》Mesh组网即”无线网格网络”，是“多跳（multi-hop）”网络，是由ad hoc网络发展而来，是解决“最后一公里”问题的关键技术之一。在向下一代网络演进的过程中，无线是一个不可缺的技术。无线mesh可以与其它网络协同通信，是一个动态的可以不断
博客
css如何设置元素位置不变
12-29 566
css设置元素位置不变的方法：首先创建一个HTML示例文件；然后定义一个“#ads”的id样式，并设置高度宽度；最后通过“position:fixed”以及right、bottom将元素定位在指定位置即可。本教程操作环境：windows7系统、css3版，该方法适用于所有品牌电脑。推荐：《css视频教程》我们经常碰到的需求是希望页面某个元素固定在浏览器的一个位置，无论如何滚动滚动条，位置不变，就例如经常看到的弹出广告。方法一般是使用js控制，或者使用css。这里我写的是css的控制方法。在IE7以上
博客
PHP随机不重复的数（自定义，以随机大乐透举例）
12-29 163
在一段数中随机不重复的数，下面用大乐透举例：前区不重复5个数，从1到35；后区不重复2个数，从1到12。首先写一个公共方法，调用2次即可：所以重点在随机不重复的数。下列代码中详细说明：publicfunctiongetRandNumber($start=1,$end=35,$length=5){//初始化变量为0$count=0;//建一个新数组$temp=array();while($count<$length){//在一定范围内随机生成一个数放入数...
博客
Centos安装PHP7及配置php-fpm开机启动
12-29 282
centos 7 编译安装 php-7.2.11的步骤在官网下载php-7.2.11的php压缩包，centos 7 安装 php-7.2.11的步骤，http://cn2.php.net/distributions/php-7.2.11.tar.gzcd/usr/local/srcwget-chttp://cn2.php.net/distributions/php-7.2.11.tar.gz下载好后解压 php-7.2.11.tar.gz 压缩包，并进入解压后的目录tar...
博客
详解CSS和JS动画底层原理及如何优化它们的性能
12-29 313
jquery让按钮不可用的方法：首先使用button标签创建一个按钮；然后通过id获得button按钮对象，使用【att()】方法将按钮的disabled属性设置为true，实现按钮不可点击。本教程操作环境：windows7系统、jquery3.2.1版本，该方法适用于所有品牌电脑。jquery让按钮不可用的方法：1、新建一个html文件，命名为test.html，用于讲解jquery如何设置按钮不可点击。2、在test.html文件内，在p标签内，使用button标签创建一个按钮，并设置其id为m
博客
ogg是什么格式的文件后缀
12-28 760
ogg是一种音频压缩格式的文件后缀。ogg是完全免费、开放和没有专利限制的。ogg文件格式可以不断地进行大小和音质的改良，而不影响旧有的编码器或播放器。Ogg全称是OGGVobis(oggVorbis)是一种音频压缩格式，类似于MP3等的音乐格式。Ogg是完全免费、开放和没有专利限制的。OggVorbis文件的扩展名是".ogg"。Ogg文件格式可以不断地进行大小和音质的改良，而不影响旧有的编码器或播放器。（学习视频分享：编程视频）优点：1、Ogg Vorbis的音质和MP3不相上下，但无法和FLA
博客
jquery中的not怎么用
12-18 323
jquery中not的使用方法：【not()】方法返回不符合一定条件的元素，该方法通常用于从被选元素组合中移除一个或多个元素，语法为【$(selector).not(criteria,function(index))】。本教程操作环境：windows7系统、jquery3.2.1版本，该方法适用于所有品牌电脑。相关免费学习推荐：javascript（视频）、jQuery教程（视频）jquery中not的使用方法：定义和用法not() 方法返回不符合一定条件的元素。该方法让您规定一个条件。不符合条
博客
jquery LigerUI是什么？
12-18 170
jQuery LigerUI是基于jQuery而设计的一系列UI插件集合，其核心设计目标是快速开发、使用简单、功能强大、轻量级、易扩展，使用UI可以帮助开发者快速地创建友好的用户界面。相关推荐：《jQuery教程》jquery LigerUI 快速开发UI框架LigerUI 是基于jQuery 的UI框架，其核心设计目标是快速开发、使用简单、功能强大、轻量级、易扩展。简单而又强大，致力于快速打造Web前端界面解决方案，可以应用于.net,jsp,php等等web服务器环境。LigerUI有如下主要特
博客
css3 sticky不生效怎么办
12-16 1250
css3 sticky不生效的解决办法：1、父元素不能overflow:hidden或者overflow:auto属性；2、必须指定top、bottom、left、right4个值之一；3、父元素的高度不能低于sticky元素的高度。本教程操作环境：windows7系统、css3版，该方法适用于所有品牌电脑。推荐：《css视频教程》sticky不生效原因有：父元素设置了overflow:hidden或者overflow:auto未指定top、right、bottom、left4个值中的任意一个父
博客
如何解决bootstrap导航条不跳转的问题
12-16 365
bootstrap导航条不跳转的解决办法：1、使用“$('#myTabs a').click(function (e){...}”方式；2、使用“data-toggle”标记；3、通过“window.location”实现跳转即可。本教程操作环境：Windows7系统、bootstrap3版，该方法适用于所有品牌电脑。推荐：《bootstrap视频教程》最近在学习bootstrap，准备做一个个人网站的主页。前端就准备采用bootstrap来做了，因为，bootstrap确实很漂亮，也很流行，有了问题
博客
excel属于什么类型的软件
12-16 416
excel属于电子表格类型的软件。excel是微软为使用windows和apple macintosh操作系统的电脑编写的一款电子表格软件。在发布5.0版本之后，excel就开始成为所适用操作平台上的电子制表软件的霸主。Excel属于电子表格软件。（学习视频推荐：编程视频）Microsoft Excel是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。直观的界面、出色的计算功能和图表工具，再加上成功的市场营销，使Excel成为最流行的个人计算
博客
jquery怎么样判断文件是否存在
12-16 425
jquery判断文件是否存在的方法：首先封装一个fileExists方法，接收url参数；然后使用【$.ajax()】方法发送请求，设置同步方式请求；最后返回请求结果。本教程操作环境：windows7系统、jquery3.2.1版本，该方法适用于所有品牌电脑。相关免费学习推荐：javascript（视频）、jQuery教程 （视频）jquery判断文件是否存在的方法：js或jquery判断文件是否存在,需要用到ajax用法var Exists=Exists('/cache/view_num/'+u
博客
Python爬取13个旅游城市，告诉你五一大家最爱去哪玩？
12-15 342
今年五一放了四天假，很多人不再只是选择周边游，因为时间充裕，选择了稍微远一点的景区，甚至出国游。各个景点成了人山人海，拥挤的人群，甚至去卫生间都要排队半天，那一刻我突然有点理解灭霸的行为了。今天，通过分析去哪儿网部分城市门票售卖情况，简单的分析一下哪些景点比较受欢迎。等下次假期可以做个参考。用到的Python模块BeautifulSoup、requests、pymongo、pylab方法通过请求https://piao.qunar.com/ticket/list.htm?keyword=
博客
bootstrap 为什么只能默认12列
12-15 267
bootstrap只能默认12列是因为12是数字“1、2、3、4、6”的最小公倍数，所以12列栅格系统相对较灵活，并且支持将一行分成1列、2列、3列、4列、6列。本教程操作环境：Windows7系统、bootstrap3版，该方法适用于所有品牌电脑。推荐：《bootstrap视频教程》为什么Bootstrap要默认12列？今天被问了一个问题：”有没有想过为什么Bootstrap要默认是12列？“呃，好吧，用了Bootstrap一段时间，的确没想过为什么要默认是12列，隐隐约约觉得是因为布局比较方便
博客
excel属于什么类型的软件
12-15 905
excel属于电子表格类型的软件。excel是微软为使用windows和apple macintosh操作系统的电脑编写的一款电子表格软件。在发布5.0版本之后，excel就开始成为所适用操作平台上的电子制表软件的霸主。Excel属于电子表格软件。（学习视频推荐：编程视频）Microsoft Excel是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。直观的界面、出色的计算功能和图表工具，再加上成功的市场营销，使Excel成为最流行的个人计算
博客
Python 代码混淆和加密技术
12-11 256
动机Python进行商业开发时, 需要有一定的安全意识, 为了不被轻易的逆向. 混淆和加密就有所必要了.混淆为了增加代码阅读的难度, 源代码的混淆非常必要, 一个在线的Python代码混淆网站. http://pyob.oxyry.com/同时需要注意的是, 这个混淆其实还是被很多人怀疑的, 因为即使混淆了, 也没有改变代码的结构. 这种方法只能”防君子，不防小人“所以, 必要的话, 在编程的时候, 可以故意做点提高逆向难度的事情:结构稍微改变, 合并几个类到同一个文件.面向对象
博客
ps cs6选择并遮住在哪
12-11 3224
ps cs6没有“选择并遮住”的选项，属于“调整边缘”选项，cs6以上的版本是“选择并遮住”，只要点击选框内的工具就有该选项，其使用方法：首先快速选择画面中想要得内容；然后在菜单栏中点击“选择并遮住”按钮进行操作即可。本教程操作环境：Windows7系统、Adobe Photoshop CS6版，Dell G3电脑。推荐：《ps教程》ps cs6没有“选择并遮住”选项，归到调整边缘里了。在ps CS5以前的版本叫“抽出”，CS5-CS6的版本是“调整边缘”，CS6以上的版本是“选择并遮住”，只要点击选

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值