孤寒者的博客

爬虫必备抓包工具——Fiddler【认识&使用】

????最近，很多粉丝私信我问——爬虫到底是什么？学习爬虫到底该从何下手？????????其实，我想说的也是曾经的我身为小白的时候某些大牛对我说过的——很多时候我们都有一颗想要学习新知识的心，却总是畏惧于对想要学习内容的无知，这也是多数人失败甚至后悔终身的：因为他们从来没有开始过！????????借一位几年前带我入坑的前辈的话——坑就在你面前，别总是犹豫徘徊，大胆一点：向前一步，入了这个坑，莽着头就是往前冲，别多想，别回头，终有一天——>你也会成为别人的前辈！????今日份鸡汤已成功送达，目

Python爬虫技术栈 | urllib库&&urllib3库

 ????上一篇博文一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】被众多爬虫爱好者/想要学习爬虫的小伙伴们阅读之后，很多小伙伴私信我说——大佬搞爬虫都是用的socket套接字嘛？???? ????（苦笑）“那肯定不是啊！python为我们封装了那么多伟大而又简单实用的爬虫库，”不过我想说的是，“ 学啥技术都是从底层抓起，万丈高楼平地起，它也是基于地基稳！ 所以在入坑文中简单地介绍使用了下底层爬虫库——socket！”???? ????而本文

 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????   第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】  第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】  ?????

 ????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????  ????第一篇爬虫入坑文；一篇万字博文带你入坑爬虫这条不归路 【万字图文】???? ????第二篇爬虫库requests库详解。两万字博文教你python爬虫requests库【详解篇】????  ????但是爬虫爬虫，重在爬取到我们想要的数据，那么我们该如何提取页面中我们所需要的信息呢？为了让小伙伴们更加深入的学习

万字博文教你python爬虫XPath库【详解篇】》

如果你对web比较熟悉，比较喜欢用CSS选择器，如果你对jQuery有所了解。那么，就一起来看看这个解析库——pyquery吧！

万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）

????在爬虫技术泛滥的今天，有不少小伙伴或是因为兴趣，或是因为工作所需，决定去学习爬虫，一入爬虫坑~????《一篇万字博文带你入坑爬虫这条不归路 【万字图文】》????<-????但是，从最近我的技术交流群内粉丝们交流的一些问题中，我发现了一个很严重很严重的大问题——他们只是单纯想爬，却连一些最基础的反爬技术都不知晓。????->????《两万字博文教你python爬虫requests库【详解篇】》《万字博文教你python爬虫Beautiful Soup库【详解篇】》《万字博

前言——最近很多粉丝私信我说他们在进行JS渗透的时候总是碰到SHA，MD5,AES,RSA之类的玩意；更有甚者说他们在进行破解一些网站的字体反爬的时候碰到了字符编码啥的，但是他们对这些东西不是很明白，只会跟着网上的资料视频或者书籍一步步破解。听到粉丝们的这个问题我也是会心一笑，确实现在数据唯尊的世界，有数据者得天下，那些大哥大们肯定会想尽一切办法保护好自己的数据不为外人所嫖。而本文也是为了带大家走入加密解密的神奇世界，并讲解常见的字符编码方式。拿出小本本仔细听课哦????

身为程序猿——谷歌浏览器的这些骚操作你真的会吗

正则表达式并不是python所特有的，它也可以用在其它编程语言中。但是Python的re库提供了整个正则表达式的实现，利用这个库，可以在Python中使用正则表达式。相信通过本文的学习，每一位读者都可以熟练的掌握re库，冲冲冲~

代码如下：（简单易懂方便！）import requestsimport reimport os#动态加载的图片的抓取 （1）分析动态网页的规律 拿下来做对比，发现pn是可变的有规律的 （2）构造pn值 获取相应的page_url(每个包含30张图片)img_1="https://image.baidu.com/search/acjson?tn=resultjson_com&am...

要求：爬取30张百度图片中关晓彤的照片！！！首先，遵循爬虫一般的开发流程：（1）分析网页：由于网页源码过于复杂，找到我们所想要的过于困难，所以我们随便找到一个图片的url，操作如下：然后，查看网页源码，ctrl+f搜索刚刚找到的图片的url，会发现有三个，我们以第一个为例：# 观察其前面发现有个thumbURL,我们再在此源码中搜索：可知，我们只需要借用thumbURL使用正则即可匹...

第一道：题目如下！1.目标URL：http://www.glidedsky.com/，此网站中的第一题。2.python中requests+etree+xpath实现：（cookie_str数据大家使用自己登陆后的cookies数据即可，安全起见，以下cookie_str为错误的！）import requestsfrom lxml import etree#已知网页中的cookies是字符串格式，但request要求传的是字典cookie_str="__gads=ID=22f6a28586

1.目标：猫眼电影TOP100的电影名称，时间，评分，图片等信息。提取的站点URL为https://maoyan.com/board/4?offset=0，提取的结果会以文件形式保存下来。2.代码编写：import requestsfrom requests.exceptions import RequestExceptionfrom fake_useragent import UserAgentimport reimport jsonimport timedef get_one_page

1.目标URL：https://movie.douban.com/top250！2.python中利用requests+etree+re+json+fake_useragent模块实现：（代码没有任何问题，可以随拿随用！）import requestsfrom lxml import etreeimport reimport jsonfrom fake_useragent import UserAgentdef films(num): page_url="https://movie

1.目标数据：（下面网页首页的30部手机部分信息）（网址：https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=8f341712482744078ed70c8710a4c722）2.码：（requests,lxml,pands库都可）...

1.直接上代码：（解析和思路都在代码里！）from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait i

使用selenium实现QQ邮箱登录及发送邮件代码实现：import timefrom selenium import webdriver# executable_path参数是与你所用浏览器对应的浏览器引擎绝对路径driver=webdriver.Chrome(executable_path="C:\my\Chrome_guge\chromedriver.exe")url = 'https://mail.qq.com/cgi-bin/loginpage'driver.get(url)ti

JS逆向进阶篇【百度翻译】【附带源码】（目的：实现类似于百度翻译的功能——输入内容，得到对应的翻译之后的内容。）

两种常见登录流程第一篇【过XX军事网登录】

抓取目标：1.首先Mitmproxy工具的下载及使用：点我观看！2.实战——小姐姐图片批量下载：实现——在你使用浏览器欣赏你自备的小姐姐图片资源的时候自动下载哦！①脚本编写：import osindex = 0def response(flow): global index print('===========开始执行===========') # 图片后缀有jpg和jpeg两种，分类讨论！ if flow.request.url.split('.').

响应状态码表示服务器的响应状态！  总体上共分为五大类：状态码含义1xx临时响应：表示临时响应并需要请求者继续执行操作的状态代码。2xx请求成功：表示服务器成功地接受了客户端的请求。3xx重定向：表示要完成请求，需要进一步操作。客户端浏览器必须采取更多操作来实现请求。通常这类状态码表示用来重定向。4xx请求错误：客户端原因导致服务器无法处理请求。5xx服务器错误：表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误，而不是请求

Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.29 Safari/525.13Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/531.4 (KHTML, like Gecko) Chrome/3.0.194.0 Safari/531.4Mozilla/5.0 (Windows;

问题引入：最简单的反爬，通过UA进行反爬；解决措施也很简单，加上请求头UA即可，但是CV略显麻烦不是，今天来使用fake_useragent模块来快速生成供我们使用的UA！！！1.安装：pip install fake_useragent -i https://mirrors.aliyun.com/pypi/simple/2.简单使用：...