2020-12-11

几个概念

。get查询参数会在url显示出来
。post查询参数是不会显示在url地址之上的
。url统一资源定位符
。https://www.xx.com/omn/TWF2020/TWF201200000.html
https: 协议
www.xx.com:主机名 省略了端口443
anchor: 锚点 前端用来做页面定位 锚点做导航
。User-Agent用户代理 记录了用户的操作系统、浏览器等，为了让用户更好的获取html页面效果
。Referer 表明当前的这个请求是从哪个url过来的 一般也可以作为一个反爬的方式

import urllib.request

url = 'https://xxx.com/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}

#1.创建请求的对象（构建user-agent）
res = urllib.request.Request(url,headers=headers)
#2.获取响应对象（urlopen）
resp = urllib.request.urlopen(res)
#3.读取响应对象的内容read().decode('utf-8')
html = resp.read().decode('utf8')
#print(html)
print(resp.getcode()) # 获取状态码

print(resp.geturl())  # 返回url

import urllib.parse
import urllib.request
#urlencode()传递一个字典
#quote()传递一个字符串



#urlencode() 练习
#目标url
base_url = 'https://www.xxx.com/s?'
key = input('请输入您要搜索的内容：')

#urlencode()进行中文处理
wd = {'wd':key}
key = urllib.parse.urlencode(wd)
#拼接url
url = base_url + key
#print(url)
headers= {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
#1.创建请求的对象（构建user-agent）
req = urllib.request.Request(url,headers=headers)
#2.获取响应对象
res = urllib.request.urlopen(req)
#3.读取响应对象内容
html = res.read().decode('utf-8')
#4.保存文件
with open('搜索.html','w',encoding='utf-8') as f:
    f.write(html)


#quote() 练习
#目标url
base_url = 'https://www.xxx.com/s?wd='
key = input('请输入您要搜索的内容:')
#quote()进行中文处理
key = urllib.parse.quote(key)
#print(key)
url = base_url + key
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
#1.创建请求的对象（构建user-agent）
req = urllib.request.Request(url,headers=headers)
#2.获取响应对象
res = urllib.request.urlopen(req)
#读取响应对象的内容
html = res.read().decode('utf-8')
#保存文件
with open('搜索2.html','w',encoding='utf-8') as f:
    f.write(html)