爬取baidu网站

代码

import urllib.request
url = r"http://www.baidu.com"

res = urllib.request.urlopen(url).read()
print(res)

代码解释

其中代码的汉字部分使用二进制的中间部分表示的

在文章后面会解码来还原汉字的表达

urllib.request 可以请求到网页的页面,调用urlopen方法打开该网页.

必须调用.read()方法,不然无法将打开的网页阅读到本地

处理中文

res = urllib.request.urlopen(url).read().decode()

decode 解码
encode 编码
解码后原来的字节码（二进制的汉字）变为字符串

数据清洗

引入正则模块

import re

#找到标题的汉字内容
pat = r"<title>(.*?)</title>"
data = re.findall(pat,res)

print(data)