获取 静态html网页 get请求和post请求 python3.7

事前准备,学会获取整个网页,以百度为示例,headers不加user-Agent会被反爬 有一些则更为严格
headers可以通过fidder或者Chrome 来获取 最后获取的是bytes类型 可以通过bytes.decode解码

import urllib.request
ua_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36'
                            ' (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
request = urllib.request.Request('http://www.baidu.com/', headers=ua_headers)
response = urllib.request.urlopen(request)
html = response.read()
print(html)

下面是通过get请求 直接在URL上输入 首先需要知道get的格式
https://www.baidu.com/s?ie=UTF-8&wd=你好啊
wd=后面的参数 是搜索时输入词通过urlencode后的结果 可以通过http://tool.chinaz.com/tools/urlencode.aspx查看
最后获取的是bytes类型 可以通过bytes.decode解码

import urllib.parse as parse
import urllib.request
url = 'http://www.baidu.com/'
headers = {'UserAgent': 'Mozilla'}
keyword = input(' 请输入关键字:')
wd = parse.urlencode({'wd': keyword})
fullurl = url + 's?ie=UTF-8&' + wd
print(fullurl)
request = urllib.request.Request(fullurl, headers=headers)
response = urllib.request.urlopen(request)
print(response.read())

下面是通过post请求,在使用urllib.request.Request方法时,如果data参数有值则为post请求
response如果进行了decode解码,解码后的文件为string格式的html数据
通过fiddler可以看到post请求需要start和limit,将其写到json中进行encode

import urllib.request
import urllib.parse

url = 'https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85&type=11&interval_id=100:90&action='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36'
                         ' (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
formdata = {'start': '20', 'limit': '100'}
data = urllib.parse.urlencode(formdata).encode(encoding='utf-8')
request = urllib.request.Request(url, data=data, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))