(导入我封装好的文件(python爬虫基础封装函数))
from () import post, get
import json
from urllib import request, parse
#保存cookiie
from http import cookiejar
#通过对象保存cookie
cookie_object = cookiejar.CookieJar()
#handler对应着一个操作
handler = request.HTTPCookieProcessor(cookie_object)
#opener 遇到有cookie的response的时候
#调用handler内部的一个函数, 存储到cookie object
opener = request.build_opener(handler)
#url 路由
url = '个人登录的url, 登录前按F12审查元素, 第二行的第二个单词组 打上勾 ,保持审查元素可以保持正常保留 , 登录之后 点第三行 XHR 然后有一个 login?... 点开,第一行 General里面的Request URL 就是这个路由'
#例如
url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018721441132'
#from
url的'longin?...'里面的最后一个 From Data 的内容
#例如
form = {
'email': '18510556963',
'icode': '',
'origURL': 'http://www.renren.com/home',
'domain': 'renren.com',
'key_id': '1',
'captcha_type': 'web_login',
'password': '95cb2a1d59b918e0d16ab5d3535fb40103e4b546e651a3e3c99b91876927c78a',
'rkey': 'a7bccfbafd7ee702247450942dff5611',
'f': 'http%3A%2F%2Fwww.renren.com%2F966927992',
}
#post 请求时
from_bytes = parse.urlencode(from).encode('utf-8')
response = opener.open(url, from_bytes)
html_bytes = response.read()
res_dict = json.loads(html_bytes.decode('utf-8'))
home_url = res_dict['homeUrl']
#访问页面
response = opener.open(home-url)
html_bytes = response.read()
#打印页面
print(html_bytes.decode('utf-8'))