爬虫基础之 urllib

get :是通过网站传递参数或者直接打开页面，请求页面
post：是通过form，并不在网址上体现内容，进行数据传递
www.xxxyyy.com/temp.html?a=1&b=2
form_data = {“c”:1,“D”:2}
username,password 一般都是post传递， url？username=xxxx&password=yyyy 也可以
https://www.baidu.com/s?wd=abc

==============================================

# import ssl
# ssl._creat_default_https_context = ssl._creat_unverified_context
import urllib.parse # 关掉https验证

# 运行简单的get操作
import urllib.request
# input_data = input("please input IP: ")
url = "https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?query=127.0.0.1&co=&resource_id=6006"
response_data = urllib.request.urlopen(url=url).read().decode("gbk")
# print(response_data)
# 在本次请求中，可以不导入request_headers(请求头)，但是对于初学，需要作为练习
headers = {
	"Accept":"*/*",
	"Accept-Language":"zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.",
	"Connection":"keep-alive",
	"Cookie":"BAIDUID=6180DF388A7998095CE8B6…7_28558_28414; ZD_ENTRY=baidu",
	"Host":"sp0.baidu.com",
	"Referer":"https://www.baidu.com/s?ie=utf…OJT1S%2F&rqlang=cn&rsv_enter=0",
	"User-Agent":"Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/65.0",
}
# 构建请求的对象
request_attr = urllib.request.Request(url=url, headers=headers)

# 获得response 并且获得转码
response_data = urllib.request.urlopen(request_attr).read().decode("gbk")

# 如果不需要带着headers请求，我们可以直接使用urlopen
# response_data = urllib.request.urlopen(url=url).read().decode("gbk")
import json
print(json.loads(response_data)["data"][0]["location"])