网页爬虫：爬取百度咨询新闻

1.获取网页源码

工具：

import urllib.request

urllib.request库可以模拟浏览器发送网页请求并获取request的结果。
以科技类新闻为例，拟爬取这样一篇文章。

首先，发送请求

html = "https://baijiahao.baidu.com/s?id=1654779534169792316&wfr=spider&for=pc"
request = urllib.request.Request(html)

写入获取到的网页，并转化成python可读的字符

response = urllib.request.urlopen(request)  # 获取网页
html_page = response.read().decode("utf-8")  # 按utf-8