python爬虫的几个常用库

urllib的request模块

#urllib的请求模块
import urllib.request    
#用请求模块打开百度网站，并返回给response
response = urllib.request.urlopen('http://www.baidu.com')   
#读取response，并以utf-8的编码形式
print(response.read().decode('utf-8'))   

urllib的parse模块（PS：不懂）

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())

暂停爬虫学习