Python3 爬虫基础

POST

#coding: utf-8
import urllib.request#
import ssl

ssl._create_default_https_context=ssl._create_unverified_context #python2.7以后，用urlopen打开http网页，会验证一次ssl证书，此处全局取消验证。
url='http://www.douban.com'
data={"form_email":"*****@163.com",'form_password':'******'}
data=urllib.parse.urlencode(data).encode(encoding='UTF8') #最后必须指定编码方式
print("data{}".format(data))
req=urllib.request.Request(url=url,data=data)
response=urllib.request.urlopen(req)
print(response.read())

Cookie 保存到变量

import urllib.request
from http import cookiejar

cookie=cookiejar.CookieJar()#声明一个cookieJar对象来保存cookie
handler=urllib.request.HTTPCookieProcessor(cookie)#运用HTTPCookieProcessor来创建cookie处理器
opener=urllib.request.build_opener(handler)#通过cookieHandler来创建opener
response=opener.open('http://www.baidu.com')#用opener的open打开网页

for item in cookie:
	print('Name=%s'% item.name)
	print('Value=%s'% item.value)

Cookie 保存到文件

from urllib import request
from http import cookiejar

if __name__=='__main__':
	filename='cookie.txt'
	cookie=cookiejar.MozillaCookieJar(filename)
	handler=request.HTTPCookieProcessor(cookie)
	opener=request.build_opener(handler)
	response=opener.open('http://www.baidu.com')
	cookie.save(ignore_discard=True,ignore_expires=True)#ignore_discard:即使cookie即将被丢弃也将它保存下来；ignore_expires的意思是如果该文件中cookie已经存在，则覆盖原文件写入

从文件提取Cookie

from urllib import request
from http import cookiejar

if __name__=='__main__':
	filename='cookie.txt'
	cookie=cookiejar.MozillaCookieJar()
	cookie.load(filename,ignore_discard=True,ignore_expires=True)
	handler=request.HTTPCookieProcessor(cookie)
	opener=request.build_opener(handler)
	response=opener.open('http://www.baidu.com')
	print(response.read().decode('utf-8'))

requests：

https://www.cnblogs.com/zhaof/p/6915127.html