python 爬虫基础教学

网页转码 并且爬取网页源码 将源码写入新建的html文件中

用python requests库实现

import requests

# 我用的是百度翻译作为实验网站  你可以试试其他的
url = "https://www.baidu.com/s?word=%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91&tn=99205150_hao_pg"
m = r.r = requests.get(url)
print(r.encoding)
m = m.encode('ISO-8859-1').decode('utf-8')
print(m)
f = open("new.html", 'w')
f.write(m)
f.close()
# 网页的编码转 ISO-8859-1 为 utf-8 并且写入new.txt文件内