豆瓣python网络数据采集器代理_Python 网络数据采集1

_-coding:utf-8--

'''

Urllib模块：一个基于Http 访问请求的Python模块库，包括以下：

1.urllib.request -- 请求模块

2.urllib.error -- 异常处理模块

3.urllib.parse -- URL的解析模块

4.urllib.rebotparser -- robots.txt解析模块

'''

1.1.1urllib.request模块

'''

作用：向互联网服务器发送请求，并获取网络服务器的反馈数据信息

urlopen()函数作用是与指定的网络资源简历连接(主要通过URL)

使用前先import urllib.request

urllib.request.urlopen(url,data = None[,timeout]),.....

url:网页地址

data = None:请求参数数据

timeout:请求超时时间

......:其余参数

'''

import urllib.request

url_req = 'https://www.jianshu.com/p/34b0a6dd1ae0'

response = urllib.request.urlopen(url_req)

'''

response:服务器响应数据对象

response.geturl():获取请求URL地址

response.getcode():获取返回码

response.getinfo():获取网页返回信息

'''

print('request的URL= %' % response.geturl)

print('request的返回码 = {0}'.format(response.getcode))

print('request的返回信息：{0}'.format(reqponse.getinfo))

1.2.获取网页数据信息

'''

使用response.read()获取指定网页的源代码

'''

import os

disPath = os.path.join(os.getced(),'URLlib/respnse_data')

if not os.path.exists(disPath):

os.madir(disPath)

pass

with open(os.path.join(disPath,'baidu.html'),'w',encoding='utf-8') as fp:

fp.write(response.read().decode('utf-8'))#使用utf-8对数据编码

1.3 携带请求参数

'''

urlopen()第二个参数为 data，用于设置请求参数

格式：字典类型

'''

dictParams = {'search_text':'ios开发','id':'1001'}

data = pickle.dumps(dictParams)#序列化电子流

response01 = urllib.request.open(url,data = data)

if response.getcode() == 200:

#请求到数据结果了

pass

1.4超时

'''

timeout:服务器未按时返回数据则抛出socket.timeout异常

'''

import socket

try:

response = urllib.request.urlopen(url_req,timeout = 0.8)

pass

except socket.timeout:

print('>>>连接请求超时')

1.5网站403/403

'''

405/403代表网站拒绝访问

网站为了防止爬虫，访问是需要携带header -- user-agent

'''

header = {'user-agent':'Mozilla/4.0','Host':'httpbin'[,...]}

req = urllib.request.Request(url = url,header = header,method = "POST")

response02 = request.urlopen(req)

'''

也可以这样：

req = urllib.request.Request(url = url,header = header)

req.add_header= header

'''

1.6网络资源下载

'''

只需要获取图片，音频，视频的二进制资源地址，直接连接资源以二进制写入文件即可

response.read() 返回字节

'''

2.Request模块

'''

一个基于urllib模块简单易用的第三方网络HTTP请求库

采用Apache2 Licensed 开源协议的HTTP库

'''

2.1安装配置requests

'''

Requests模块需要使用pip下载安装部署：pip install -U requests

使用时：import requests

'''

import requests

url = 'http://www.baidu.com'

使用get()发送请求

response = requests.get(url)

requests携带参数无需序列化，函数自身已实现

response = requests.get(url,params={'search_text':'zhang','id':1001})

扩展：请求提交的六种方法

'''

1.requests.get() GET请求

2.requests.post()....POST请求

3.requests.put().....PUT请求

4.requests.delete()..DELETE请求

5.requests.head()

6.requests.options()

'''

response对象

'''

.status_code: #响应状态码

.raw #返回原始响应体，即urllib的response对象，使用r.raw.read()读取

.content #字节方式响应体，会自动解码gzip和deflate压缩

.text #字符串方式响应体，会自动根据响应头部的字符编码进行解码

.headers #以字典对象储存服务器响应头，该字典特殊，key不区分大小写，若key不存在，返回None

.json #Request内置json解析器

.raise_for_status() #请求失败(非200)抛出异常

'''