![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 71
Watson_Ashin
不能原谅,如果很多年后我还是这样
展开
-
爬虫基础 || 2.1 Requrst 高级用法
request库之所以强大,是因为他除了基础访问外,就可以上传文件,设置cookies,设置代理等。1.上传文件上传文件非常简单,这里上传在上一个文章里下载的文件。一般上传文件都用的post请求。import requestsfile = {'file':open('bnaiduico.ico','rb')}r = requests.post('http://httpbin.or...原创 2020-02-29 13:13:49 · 460 阅读 · 0 评论 -
爬虫基础 || 2.1 request介绍(功能比urllib丰富,附上简单的知乎爬虫)
之前已经差不多将urllib的所有功能介绍完毕,但是对于urllib来说,有许多不方便的地方,比如处理复杂请求的时候,都需要Opener和Handler来处理。而requests库,他集合了诸多功能,能够使爬虫更加简易import requestsresponse = requests.get('https://www.baidu.com') # 这里的get就是get请求prin...原创 2020-02-17 16:10:22 · 746 阅读 · 0 评论 -
爬虫基础 || 1.4 异常处理与链接解析
1.异常处理在已经掌握了基本的爬虫技能,但是如果再发送请求中出现异常,如网络不好,请求被拒等情况,就可能出现报错而终止运行程序。urllib的error模块定义了由request模块产生的异常。如果出现了问题,request模块便会爆出error模块中定义的异常。现在就使用error模块来处理各种异常。1.1URLErrrorURLError类来自urllib的error模块,它继...原创 2020-02-13 14:37:13 · 538 阅读 · 0 评论 -
爬虫基础 || 1.2 urllib.request
疫情爆发的第20天,更新了一点内容~~我们知道利用 urlopen()方法可以实现最基本请求的发起,但这几个简单的参数并不足以构建一 个完整的请求。 如果请求中需要加入 Headers 等信息,就可以利用更强大的 Request 类来构建。我们依然是用 urlopen()方法来发送这个请求,只不过这次该方法的参数不再是 URL, 而是一个 Request 类型的对象。 通过构造这个数据结构,...原创 2020-02-11 15:40:46 · 147 阅读 · 0 评论 -
爬虫基础 || 1.1 urllib 基础介绍
疫情爆发的第20天,在家办公,比较闲。曾经作为一名爬虫工程师,已经一年多没写过爬虫了,这几天翻了翻资料和崔老师的《网络爬虫开发》,对爬虫做一次复习,顺便写下这篇学习笔记,慢慢更新,欢迎大家交流学习~~这篇写的是爬虫基础库urllib的一下基础知识。他包含下面四个主类。============================================================...原创 2020-02-11 12:31:32 · 772 阅读 · 0 评论 -
urllib获取响应后的六种基本处理和常见状态码
import urllib.requesturl = 'http://www.baidu.com/'#我们先定制一个请求并得到相应response他是个HttpResponse类对象response = urllib.request.urlopen(url)#该相应会有如下6中基本处理方式# 1.直接将整个页面以二进制格式返回print(response.read())# 2....原创 2018-10-27 11:28:29 · 6636 阅读 · 0 评论