python爬虫准备

自定义UserAgent

from fake_useragent import UserAgent
HEADER = {
    'Referer': 'https://www.baidu.com/',
    'User-Agent': UserAgent().random
}
result = requests.get(url, headers=HEADER)

配置代理池

proxyMeta = requests.get(
    'http://d.jghttp.golangapi.com/getip')
proxyMeta = 'http://' + proxyMeta.text.replace('\r\n', '')
proxies = {

    "http": proxyMeta
}
result = requests.get(url, proxies=proxies)

下载一个网站

# 镜像下载整个网站并保存到本地
wget -c --mirror -U "Mozilla" -p --convert-links http://docs.python-requests.org

curl使用方法

参数	说明	例子
-A	设置user-agent	curl -A “Chrome” http://www.baidu.com
-X	用执行方法请求	curl -X POST http://httpbin.org/post
-I	只返回请求的头信息	-d a=1 -d b=2 -d c=3 -d “a=1&b=2&c=3” -d @filename
-O	下载文件并以远程文件名保存
-o	下载文件并以指定文件名保存	curl -o fox.png http://bin.org/image/png
-L	跟随重定向请求	curl -IL https://baidu.com
-H	设置头信息	curl -o image.webp -H “accept:image/webp” http://httpbin.org/image
-k	允许发起不安全的ssl请求
-b	设置cookies	curl -b a=hello http://httpbin.org/cookies

wget使用方法

参数	说明	例子
-O	以指定文件名保存下载文件	wget -O http://www.baidu.com/index.php
–limit-rate	以制定的速度下载文件	wget --limit-rate=500k
-c	断点续传
-b	后台下载
-U	设置User-Agent
–mirror	镜像下载某个网站
-p	下载页面中的所有相关资源
-r	递归下载所有网页中的链接

requests 模块

强大的第三方模块

mport requests

# GET请求
r = requests.get('http://httpbin.org/get')
print(r.status_code, r.reason)
print('GET请求', r.text)
# 带参数的GET请求
r = requests.get('http://httpbin.org/get', params={'a': '1', 'b': '2'})
print('带参数的GET请求', r.json())

#POST请求
r = requests.post('http://httpbin.org/post', data={'a': '1'})
print('POST请求', r.json())

# 自定义headers请求
ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) ' \
     'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77' \
     ' Safari/537.36'
headers = {'User-Agent': ua}
r = requests.get('http://httpbin.org/headers', headers=headers)
print('自定义headers请求', r.json())

# 带cookies的请求
cookies = dict(userid='123456', token='xxxxxxxxxxxxxxxxxxxx')
r = requests.get('http://httpbin.org/cookies', cookies=cookies)
print('带cookies的请求', r.json())

# Basic-auth认证请求
r = requests.get('http://httpbin.org/basic-auth/guye/123456', auth=('guye', '123456'))
print('Basic-auth认证请求', r.json())

# 主动抛出状态码异常
bad_r = requests.get('http://httpbin.org/status/404')
print(bad_r.status_code)
bad_r.raise_for_status()

#使用requests.Session对象请求
# 创建一个Session对象
s = requests.Session()
# session对象会保存服务器返回的set-cookies头信息里面的内容
s.get('http://httpbin.org/cookies/set/userid/123456789')
s.get('http://httpbin.org/cookies/set/token/xxxxxxxxxxxxxxxxxx')
# 下一次请求会将本地所有的cookies信息自动添加到请求头信息里面
r = s.get('http://httpbin.org/cookies')
print('检查session中的cookies', r.json())


# 在requests中使用代理
print('不使用代理：', requests.get('http://httpbin.org/ip').json())
print('使用代理：', requests.get(
    'http://httpbin.org/ip',
    proxies={'http': 'http://47.128.22.31:8888'}
).json())

r = requests.get('http://httpbin.org/delay/4', timeout=5)
print(r.text)

urllib 模块

官方模块

import urllib.request
import json


# 接收一个字符串作为参数
r = urllib.request.urlopen('http://httpbin.org/get')
# 读取response的内容
text = r.read()
print(text)
# http返回状态码和msg
print(r.status, r.reason)
r.close()

# 返回的内容是json格式，直接用Load函数加载
obj = json.loads(text)
print(obj)

# r.headers是一个HTTPMessage对象
# print(r.headers)
for k, v in r.headers._headers:
    print('%s: %s' % (k, v))

ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) ' \
     'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77' \
     ' Safari/537.36'
# 添加自定义的头信息
req = urllib.request.Request('http://httpbin.org/user-agent')
req.add_header('User-Agent', ua)
# 接收一个urllib.request.Request对象作为参数
r = urllib.request.urlopen(req)
resp = json.load(r)
# 打印出httpbin网站返回信息里的user-agent
print("user-agent: ", resp["user-agent"])


# 发起带basic auth的请求
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm='Fake Realm',
                          uri='http://httpbin.org',
                          user='newrain',
                          passwd='123456')
opener = urllib.request.build_opener(auth_handler)
urllib.request.install_opener(opener)
r = urllib.request.urlopen('http://httpbin.org/basic-auth/newrain/123456')
print(r.read().decode('utf-8'))

# 使用GET参数
params = urllib.parse.urlencode({'spam': 1, 'eggs':2, 'bacon': 2})
url = 'http://httpbin.org/get?%s' % params
with urllib.request.urlopen(url) as f:
    print(json.load(f))

# 使用POST方法传递参数
data = urllib.parse.urlencode({'name': '小明', 'age': 2})
data = data.encode()
with urllib.request.urlopen('http://httpbin.org/post', data) as f:
    print(json.load(f))

# 使用代理IP请求远程url
proxy_handler = urllib.request.ProxyHandler({
                        'http': 'http://47.128.22.31:8888'
                    })
# proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
opener = urllib.request.build_opener(proxy_handler)
r = opener.open('http://httpbin.org/ip')
print(r.read())


# urlparse模块
o = urllib.parse.urlparse('http://httpbin.org/get')