使用Python爬取百度热搜榜

1. 简介

去年用C#给自己博客写的每日新闻爬虫突然就不能用了，最近闲下来看了一下，原来是百度热搜榜的前端页面改版了，那难怪。这次索性人生苦短，我选Python吧。

2. 百度热搜榜源码观察

百度热搜榜的网址如下：
百度热搜榜
去了点开源码一看，我乐了。
百度很贴心的在最前面用注释写好了热搜榜内容的数据字典，也不知道是后端程序员生成出来忘记删了，还是真就方便大家爬呢。

那么接下来就好办了。

3. 获取网页html源码

使用python的urllib.request包，我就直接上代码了，大家看吧

#获取网页源码
def askURL():
    print('#>>>获取网页HTML源码中...>>>')
    # 模拟浏览器头部信息，向服务器发送消息
    head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
    # 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）
    request=urllib.request.Request(newsUrl,headers=head)
    html=""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        print("#SUCCESS>HTML源码爬取完毕！\n")
    except urllib.error.URLError as e:
        print("#ERROR>HTML源码爬取失败！\n")
        if hasattr(e, "code"):
            print("#" + str(e.code))
        if hasattr(e, "reason"):
            print("#" + str(e.reason))
    return html

4. 整理源码中的数据

打算将html中的字符串直接转换为dict，然后再将原本的dict简化成我们需要的dict(只留新闻标题，新闻详情，新闻图片与新闻链接)
代码如下：

#解析数据
def getData(html):
    print('#>>>解析数据中...>>>')
    newsDictListStr =