![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
five-four-one
这个作者很懒,什么都没留下…
展开
-
urllib库-内置函数
urllib库:python中一个最基本的网络请求库,可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回数据urlertrieve函数作用:这个函数可以方便的将网页的文件保存到本地格式:ulrlib.request.utlertieve(图片地址,保存路径)比如:爬取一张图片from urllib import requestrequest.urlretrieve(...原创 2019-12-05 11:11:19 · 249 阅读 · 0 评论 -
url的详解,常用请求方法,请求头常见参数,常见响应状态码
URL的组成和说明URL是uniform Resource locator的简写,中文意思是统一资源定位符scheme: 代表的是访问的协议, 一般为http或者https以及ftp等host:主机名,域名,比如:www.baidu.comport:端口号,当你访问一个网站时,浏览器默认使用80端口path:查找路径,比如:https://mp.csdn.net/mdeditor/1...原创 2019-12-05 10:30:25 · 4762 阅读 · 0 评论 -
urllib.Request类的使用
Request类urlopen()方法只能构建简单的表请求,如果需要Headers等信息,必须使用Request类来构建Request类的使用实例化对象 = urllib.request.Request("请求路径")示例代码import urllib.request# 实例化Request类request = urllib.request.Request("https://www....原创 2019-12-03 13:47:21 · 182 阅读 · 0 评论 -
urllib爬虫模块的方法使用-1
目录列表发送请求响应的处理方式urllib.parseimport urllib.parse 提供了很多URL处理方法, 比如:拆分,解析,合并urllib.errorimport urllib.error 异常处理模块,保证程序不会报错urllib.request的导入urllib中request模块,实现请求的发送并且得到响应import urllib.request传递...原创 2019-12-03 12:54:08 · 107 阅读 · 0 评论 -
自动化访问浏览器工具--selenium
安装pip install selenium资料参考博客https://blog.csdn.net/ifubing/article/details/102617799常用方法1.导入: from selenium import webdriver2.连接浏览器: driver = webdriver.Chrome() # 连接的是谷歌,3.模拟浏览器上网: driver.get(...原创 2019-10-31 21:41:01 · 361 阅读 · 0 评论 -
爬虫-requests模块的基本使用
模块的安装```pythonpip install requests```发送get请求响应对象=requests.get(url)发送post请求响应对象= requests.post(url)响应对象属性响应对象.text # 返回str数据类型响应对象.content # 返回bytes数据类型响应对象.encoding = 编码格式("utf8" ) # 根据页...原创 2019-10-31 21:39:55 · 79 阅读 · 0 评论 -
爬虫-Xpath解析
参考博客:https://www.cnblogs.com/lei0213/p/7506130.html`安装pip install lxml使用导入from lxml import etreeXpath解析/ 符号, 从根节点开始选取例子: /title原创 2019-10-31 21:36:51 · 112 阅读 · 0 评论 -
爬虫urllib库的基本使用
导入库import urllib.request # 导入发送请求响应对象 = urllib.request.urlopen(url)响应对象的方法获取响应内容,bytes数据类型响应对象.read()响应对象.geturl() # 获取请求的url响应对象.getheaders() # 获取头部信息, 列表包元组响应对象.getcode() # 获取状态码响应对...原创 2019-10-17 23:08:52 · 108 阅读 · 0 评论 -
python-爬虫链接目录
爬虫的初识抓包工具fiddler的基本使用urllib模块爬取图片原创 2019-10-17 22:16:54 · 209 阅读 · 0 评论 -
爬虫-urllib爬取单张图片的两种方式
1.复制一个图片地址2/伪装请求头3.发送图片,保存图片import urllib.request# 伪装请求头headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90...原创 2019-10-17 21:10:23 · 552 阅读 · 0 评论 -
抓包工具fiddler的基本使用
一个的呈现,中间不止一次http请求,平均一个网页差不多有十几个请求all: 所有的request请求XHR: ajax请求js: JavaScriptcss: cssimg: 图片fiddler配置tools>>>options>>httpsfiddler的图标代表响应清空fiddler的抓取的请求停止抓取命令请求...原创 2019-10-17 19:43:23 · 584 阅读 · 0 评论 -
爬虫的分类,tobots协议
爬虫的分类: 聚焦爬虫 通用爬虫通用爬虫: 我们常用的搜索引擎 百度,搜狐,谷歌就是通用爬虫通用爬虫的原理:(1) 抓取网页(2) 采集数据(3) 数据处理(4) 提供检索服务通用爬虫如何抓取新网站?(1) 主动提交url(2) 设置友情链接(3) 和DNS服务商合作, 抓取新网页tobots.txt协议限制爬虫程序爬取数据的条件聚焦爬虫:根据特定的需求, 抓取指定的...原创 2019-10-17 18:36:31 · 165 阅读 · 0 评论