Python进阶：爬虫---URL处理

URL编码

发送请求(汉字)时需要进行转码   例如：

• 原地址：http://www.oschina.net/search?scope=bbs&q=C语言
• 编码后：http://www.oschina.net/search?scope=bbs&q=C%E8%AF%AD%E8%A8%80
• 语言：%E8%AF%AD      %E8%A8%80   (三个%代表一个汉字)

URL拼接

• urllib 的 urlencode() 接收的参数是一个字典：
• wd = {"wd" : "奥特曼"}
• urllib.urlencode(wd)
• 结果：wd=%E5%A5%A5%E7%89%B9%E6%9B%BC

URL拼接例子

import urllib
import urllib.request as urllib2

url = "http://www.baidu.com/s"                #就采用http吧
keyword = input("请输入要查询的字符串：")
wd = {"wd": keyword}                               #字典类型
#Python2： urllib.encode() == python3： urllib.parse.encode()
wd = urllib.parse.urlencode(wd)              #编码转换
fullurl = url + "?" + wd
headers = {"User-Agent": "Mozilla........."}
request = urllib2.Request(fullurl, headers = headers)
response = urllib2.urlopen(request)
print(fullurl)
# print(response.read().decode('utf-8'))