python 爬虫的使用（1）

1.这是一个简单的进入目标网站并且得到数据的步骤

首先第一步：导入 urllib 模块                  

import urllib.request

第二步：设置URL 地址

url = 'http://45.32.164.128/ip.php'

第三步：#打开网址  并接受回应

response = urllib.request.urlopen(url)    

第四步：但是接受到的回应 需要转码读取后才可以

html = response.read()

第五步：打印获取到的数据

print(html)

 

2.如果网站需要的是UTF-8的数据则需要 编码

 

data = {}
#目标网站需要的数据
data['type'] = 'AUTO'
data['i'] = content
data['doctype'] = 'json'
data['version'] = 2.1
data['keyfrom'] = 'fanyi.web'
data['smartresult'] = 'dict'
data['client'] = 'fanyideskweb'
data['salt'] = '15831654231717'
data['sign'] = '791ac18e417f96ac327e66aacbc77bf2'
data['ts'] = '1583165423171'
data['bv'] = '0ed2e07b89acaa1301d499442c9fdf79'
data['action'] = 'FY_BY_REALTlME'

#进行文字转码
data = urllib.parse.urlencode(data).encode('utf-8')

 

3.如果网站禁止ip则需要代理IP

需要三个步骤

 

4.一般最好加上user_agent