网络数据采集之urllib库
一、urllib
urllib简介
urllib是python中一个功能强大用于操作URL,并在爬虫时经常用到的一个基础库,无需额外安装,默认已经安装到python中。
官方文档地址:请点击这里
urllib的四个子模块
Python中urllib库包括以下四个子模块,urllib库是python的内置HTTP请求库,urllib库是一个运用于URL的包(urllib is a package that collects several modules for working with URLs)
- urllib.request: 请求模块。用于访问和读取URLS(urllib.request for opening and reading URLs),就像在浏览器里输入网址然后回车一样,只需要给这个库方法传入URL和其他参数就可以模拟实现这个过程。
- urllib.error :异常处理模块。包括了所有urllib.request导致的异常(urllib.error containing the exceptions raised by urllib.request),我们可以捕捉这些异常,然后进行重试或者其他操作以确保程序不会意外终止。
- urllib.parse:解析模块。用于解析URLS(urllib.parse for parsing URLs),提供了很多URL处理方法,比如拆分、解析、合并、编码。
- urllib.robotparser:robots.txt解析模块。用于解析robots.txt文件(urllib.robotparser for parsing robots.txt files),然后判断哪些网站可以爬,哪些网站不可以爬。
使用urllib打开网页
最基本的方法打开网页—urlopen
urlopen进行简单的网站请求,不支持复杂功能如验证、cookie和其他HTTP高级功能,若要支持这些功能必须使用build_opener()函数返回的OpenerDirector对象。
# 最基本的方法打开网页
from urllib.request import urlopen
# 通过get方法请求url
with urlopen("http://www.baidu.com") as f:
# 默认返回的页面类型是bytes类型,bytes类型转换为字符串,decode方法
print(f.read(300).decode('utf-8')
携带data参数打开网页
# 携带data参数打开网页
from urllib.parse import urlencode
from urllib.request import urlopen
data = bytes(urlencode({'word': 'hello'}), encoding='utf-8')
response = urlopen('http://httpbin.org/post', data=data)
print(response.read().decode('utf-8'))
User-Agent伪装后请求网站
很多网站为了防止程序爬虫爬网站照成网站瘫痪,会需要携带一些headers头部信息才能访问, 我们可以通过urllib.request.Request对象指定请求头部信息。
User-Agent = 'Mozilla/4.0(compatibe;MSIE 5.5;Windows NT)'
# 封装请求头部信息,模拟浏览器向服务器发起请求
request = Request("http://httpbin.org/post", headers={'User-Agent':User-Agent})
with urlopen(request) as f:
# 默认返回的页面信息是bytes类型,bytes类型转换为字符串用decode方法
print(f.read(300).decode('utf-8'))
通过构建Request打开网页
from urllib.request import Request
from urllib.request import urlopen
from urllib.parse import urlencode
url = 'http://httpbin.org/post'
headers = {
'User-Agent': 'Mozilla/4.0(compatibe;MSIE 5.5;Windows NT)',
'Host': 'httpbin.org'
}
dict = {'name': 'Germey'}
data = bytes(urlencode(dict), encoding='utf8')
req = Request(url=url, data=data, headers=headers, method='POST')
response = urlopen(req)
print(response.read().decode('utf-8'))
网络数据采集之requests库
requests官方网址:点击这里
Requests is an elegant and simple HTTP library for Python, built for human beings.
相比较urllib模块,requests模块要简单很多,但是需要单独安装:
- linux系统下的安装: pip install requests
requests库的八大主要方法:
方法 | 描述 |
---|---|
requests.request( ) | 构造一个请求,支持以下各种方法 |
requests.get( ) | 向html页面提交get请求的方法,对应于HTTP的GET |
requests.post( ) | 向html页面提交post请求的方法,对应于HTTP的POST |
requests.head( ) | 获取html头部信息的主要方法,对应于HTTP的HEAD |
requests.put( ) | 向html网页提交put请求的方法,对应于HTTP的PUT |
requests.options( ) | 向html页面提交options请求的方法,对应于HTTP的OPTIONS |
requests.patch( ) | 向html网页提交局部修改的请求,对应于HTTP的PATCH |
requests.delete( ) | 向html网页提交删除的请求,对应于HTTP的DELETE |
请求之后,服务器通过response返回数据,Response对象包含服务器返回的所有信息,也包含请求的Request信息。
response具体参数如下图:
属性 | 说明 |
---|---|
r.status_code | HTTP请求的返回状态,200表示成功,404表示失败 |
r.text | HTTP响应内容的字符串形式,即url对应的页面内容 |
r.content( ) | HTTP响应内容的二进制形式 |
r.encoding | 从HTTP header中猜测响应内容的编码格式 |
r.apparent_encoding | 从内容中分析出响应内容的编码格式(备选编码格式) |
防止反爬1:添加headers–UserAgent
有些网站访问时必须带有浏览器等信息,如果不传入headers就会报错。
UserAgent是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换UserAgent可以避免触发相应的反爬机制。fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反爬利器。
# 首先导入UserAgent:
from fake_useragent import UserAgent
def add_headers():
user_agent = UserAgent().random
# 将请求头部添加到
response = requests.get('http://127.0.0.1:5000', headers={'User-Agent':user_agent})
print(response)
if __name__ == '__main__':
add_headers()
防止反爬2:IP代理设置–proxies
在进行爬虫爬取时,有时候爬虫会被服务器屏蔽掉,这时候采用的方法主要有降低访问时间,通过代理IP访问。IP可以从网上抓取,或者某宝购买。
proxies = { "http": "http://127.0.0.1:9743", "https": "https://127.0.0.1:9743",}
response = requests.get(url, proxies=proxies)
useragent和IP代理的结合使用:
import requests
from fake_useragent import UserAgent
us = UserAgent()
proxies = {
'http':'http://163.125.75.233:9797',
'https':'https://182.92.220.212:8000'
}
response = requests.get('http://47.92.255.98:8000',
headers={'User-Agent':us.random},
proxies=proxies)
print(response)
print(response.text)
爬虫应用小案例
京东商品信息爬取:
from urllib.error import HTTPError
import requests
from colorama import Fore
from fake_useragent import UserAgent
def down_page(url, params=None):
try:
ua = UserAgent()
headers = {'User-Agent':ua.random}
response = requests.get(url, params, headers=headers)
except HTTPError as e:
print(Fore.RED + '[-] 爬取网站%s失败:%s' %(url, e.reason))
return None
else:
return response.content
def down_file(content=b'', filename='hello.html'):
with open(filename, 'wb') as f:
f.write(content)
print(Fore.GREEN + '[+]写入文件%s成功' %(filename))
if __name__ == '__main__':
url = 'https://item.jd.com/100012015170.html'
html = down_page(url)
down_file(content=html)
360搜索关键字提交
from urllib.error import HTTPError
import requests
from colorama import Fore
from fake_useragent import UserAgent
def down_page(url, params):
try:
ua = UserAgent()
headers = {
'User-Agent':ua.random
}
response = requests.get(url, params, headers=headers)
except HTTPError as e:
print(Fore.RED + '[-]爬取网页%s失败:%s' %(url, e.reason))
return None
else:
return response.content # 二进制文件
def down_file(content=b'',filename='python.html'):
with open(filename, 'wb') as f:
f.write(content)
print(Fore.GREEN + '[+]关键字写入文件%s成功......'%(filename))
if __name__ == '__main__':
url = 'https://www.so.com/s'
params = {
'q' : 'python'
}
down_file(content = down_page(url, params))
response = requests.get(url, params, headers=headers) 这里参数会自动填入访问的url网页,进行关键字查询。