python爬虫技术
yang_jianfeng
这个作者很懒,什么都没留下…
展开
-
python爬虫技术(五)网络库requests
一、基本用法1.1.requests的HelloWorld学习任何一门技术,都会用一个超级简单的案例起步,这个案例统称为HelloWorld。学习requests我们也沿用这个习惯。在开始使用requests之前,需要使用下面的命令安装requests.pip install requestsurlib库中的urlopen方法实际上是以GET方式请求网页,而requests中对应的方法是get,该方法可以接受一个URL,然后又会返回一个对象,通过get方法的返回值,可以获取HTTP响应数据。1原创 2021-08-02 00:09:55 · 152 阅读 · 0 评论 -
python爬虫技术(四)网络库urllib3
urlib3是另一个Python网络库,功能要比urlib更强大。一、urlib3简介在python程序中,使用频率最高的网络模块莫过于urlib,因为urlib是Python内置的网络模块,不需要单独安装,使用起来非常方便。但随着互联网的不断发展,urlib里的功能明显已经不够用了,所以有了后来的urlib2和urlib3。二、urlib3模块三、发送HTTP GET请求四、发送HTTP POST请求五、HTTP请求头六、HTTP响应头七、上传文件八、超时由于HTTP底层是基于Sock原创 2021-08-01 19:41:52 · 388 阅读 · 0 评论 -
python爬虫技术(三)网络库urllib
一、rullib简介urlib是python3中内置的HTTP请求库,不需要单独安装。二、发送请求与获取响应2.1.用urlopen函数发送HTTP GET请求原创 2021-07-20 00:03:39 · 183 阅读 · 0 评论 -
python爬虫技术(二)爬虫基础
一、HTTP基础1.1.URI和URLURI的英文全称是Uniform Resource Identifier,中文的意思是“统一资源标识符”。URL是URI的子集,也就是说,每个URL都是URI,但并不是所有的URI都是URL。URI除了包括URL外,还是URN(Universal Resource Name,统一资源名称)。URN只命名资源而不指定如何获取资源。1.2.超文本超文本英文名字是hypertext。在Web应用中,超文本主要是指HTML代码。我们在浏览器中看到的内容就是浏览器解析原创 2021-07-17 23:48:42 · 120 阅读 · 0 评论 -
python爬虫技术(一)
开发环境配置(1)安装python标准环境;(2)安装Anaconda Python环境;(3)设置PATH环境变量;(4)安装PyCharm;(5)配置PyCharm。原创 2021-05-25 22:35:39 · 127 阅读 · 0 评论