053-054
Python如何访问互联网
url的一般格式为:
Protocol://hostname[:port]/path/[;parameters][?query]#fragment
URL由三部分组成:
—第一部分是协议:http,https,ftp,file,ed2k…
—第二部分是存放资源的服务器的域名系统或IP地址(有时候要包含端口号,各种传输协议都有默认的端口号,如http的默认端口为80)。
—第三部分是资源的具体地址。(就是杠后面那些)
现在urllib块把urllib2都合并了
要爬虫一般用urllib.request模块
常用的有.urlopen等函数
eg 01 访问测试
import urllib.request
response = urllib.request.urlopen("http://www.fishc.com")
html = response.read()
html = html.decode("utf-8")
print(html)
eg 02 爬猫图
import urllib.request
response =urllib.request.urlopen('http://placekitten.com/g/400/600')
#http://photocdn.sohu.com/20160928/Img469362391.jpg就是图片的地址
#req=urllib.request.Request("http://placekitten.com/g/500/600")
#response = urllib.request.urlopen(req)都可以的
cat_img = response.read()
with open('cat_400_600.jpg', 'wb') as f:
f.write(cat_img)
# 接下来的操作
#response.geturl()
# 'http://placekitten.com/g/500/600'
#response.info()
# <http.client.HTTPMessageobject at 0x032903B0> #得到的是一个对象
#print(response.info()) #能打印一堆东西
#response.getcode()
# 200 是正常的
eg 03 爬有道词典
右键fanyi.youdao.com,点审查元素/检查(N)
然后点Network,点左面的翻译,可以看到新生成的一堆,虽然找不到教程中说的POST 和GET的这2个Method类,但是知道后面这几个是新增的,然后一个个点,点到这个translate_o,发现Preview有我输入的英文,说明对了,点Headers,看到方法是post,一般Post和get一个是发送一个是接收。
再往下看,有这些东西
Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
Request Method: POST
Status Code: 200 OK
Remote Address: 61.135.217.21:80 #是端口地址
Referrer Policy: no-referrer-when-downgrade
下面:
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
是来get你是什么,是不是机器人。
Form data 你提交的主要内容
重新看.request函数,data=None就是get方法,有data就是post方法
然后套用模板一点点爬。
然后发现输出是errorcode50,说明有问题,百度了一下,有好2种解决方法。
方法1,
去掉_o,可以运行,我感觉这说明_o可能是新版本,之前是老版本。
import urllib.request
import urllib.parse
import json
content ='I love him'
#content =input("输入需要翻译的内容:")
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
#url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
data = {
}
data['i'] = content
data['from'] = 'AUTO'
data['to'] = 'AUTO'
data['smartresult'] = 'dict'
data['client'] = 'fanyideskweb'
data