python爬虫
文章平均质量分 93
在路上的工程师
这个作者很懒,什么都没留下…
展开
-
浏览器调试功能介绍
浏览器调试功能介绍平时我们在做爬虫的过程中,经常会遇到一些带有js加密的网站,想要破解js,学习使用浏览器的调试功能是必不可少的技能,这篇文章简单讲下如何使用Chrome浏览器的调试功能(主要指Source调试),并且后面简单使用几个例子进行了演示。Source面板首先来看一下Source面板,我这里将其分为四个部分:接下来分别简单讲下这四个部分。第一部分:Page:已加载的全部资源,以域名划分文件夹,ctrl+p进行搜索;Filesystem & Overrides:原创 2022-04-26 22:33:20 · 2523 阅读 · 0 评论 -
python爬虫
这篇文章的目的不是为了一步步教新手如何写python爬虫,只是记录自己在学习python爬虫过程中的使用的技术点和遇到的问题,做一个技术沉淀。常用的工具与技术**Requests**库,主要用来做HTTP请求,支持通过参数添加headers、cookie、proxy等,并且支持HTTP请求的许多类型如:PUT,DELETE,HEAD 以及 OPTIONS 等。简单易上手,功能也很强大。当然也可...原创 2019-08-26 19:51:22 · 1402 阅读 · 0 评论 -
python urllib.parse
urlparsefrom urllib.parse import urlparse, urlunparseresult = urlparse('http://www.baidu.com/index.html;user?id=5#comment')print(result)ParseResult(scheme='http', netloc='www.baidu.com', path=...原创 2019-09-03 12:47:19 · 556 阅读 · 0 评论 -
海关进出口验证码学习
这个网站的反爬比较初级,页面上有一个滑动验证码,但是不存在js加密反爬之类的东西,所以只需要识别出来验证码图片的缺口位置,以Post参数的形式返回给服务端就可以请求到数据了。本次流程有两种方式来实现,一种方式是使用requests.get()/post()的形式,另一种方式是使用session;前一种方式需要先请求获取cookie,然后每次携带cookie进行请求,后一种方式相对步骤简单些。这...原创 2019-09-20 10:19:57 · 1395 阅读 · 0 评论