爬虫基础

存储：
pymysql
redis
pymongo
爬虫基础：
urllib库：
->快捷方法: urllib.request.urlopen(url)
->底层：urllib.request.Request(urll,data=None,headers={},method=None）类
->高级用法:Handler处理器 ->代理，cookie,error,Auth…
代理：
handler=ProxyHandler({‘http’:‘代理ip：port’})
opener=build_opener(handler)
response=opener.open(url)
response.read().decode(‘utf8’)
cookie:
cookie=http.cookiejar.CookieJar()
handle=HttpCookieProcessor(cookie)
opener=builder_opener(handler)
response=opener.open(url)
requests库：
response=requests.get(‘url’)
response.text string-like
response.content bytes-like
高级用法：
1.上传：
file={‘file’:open(路径,‘rb’)}
request.post(‘url’,files=file)
2.cookie:
response=requests.get(url)
response.cookies.items()
3.代理：
requests.get(url,proxies={‘http’:‘代理ip:port’})
解析库：
lxml:解析库
常用规则：
节点名 : 读取所有此节点的所有子节点
/ ：从根节点选取
// ：从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置
. ：选取当前节点
… ：选取当前节点的父节点
@ ：选取属性
bs4解析库
from bs4 import BeautifulSoup
bs=BeautifulSoup(html,‘lxml’)
bs.find(‘标签名’,attrs={键:值})
bs.find.all(‘标签名,attrs={键：值}’)
bs.节点名.get_text()
bs.titile.string
bs.title.attrs[‘class’]