在上一篇文章《使用python-aiohttp爬取网易云音乐》中,我们给自己的微信公众号添加了在线点歌的功能,这次我们再增加一个新闻浏览的功能。由于我平时浏览新闻用的是今日头条,所以在这里就想通过爬取今日头条来获取新闻。不过遗憾的是,这一次我在网上没有找到满意的方法,所以还是自己动手吧。
打开抓包软件Fiddler并设置Filters。
打开今日头条网页,选择热点。
url:http://www.toutiao.com/ch/news_hot/
在Fiddler中找到与上面新闻对应的json数据与url,由于json数据太多,这里只给出部分。
{
"has_more": false,
"message": "success",
"data": [
{
"chinese_tag": "体育",
"media_avatar_url": "http://p3.pstatp.com/large/3538/9145332",
"is_feed_ad": false,
"tag_url": "news_sports",
"title": "中国足协想搬出北京五环,原来是相中了这块风水宝地",
"single_mode": true,
"middle_mode": true,
"abstract": "中国足协搬家的传说,很可能将水落石出。而且,此前的传说其实很靠谱,中国足协确实有意要从目前位于北京东城区夕照寺街的东玖大厦,搬到京城五环路以外。南海子虽然在北京五环外,但是紧邻南五环,距离位于体育馆路的国家体育总局也不过19公里。",
"tag": "news_sports",
"behot_time": 1492391171,
"source_url": "/group/6409606379224957186/",
"source": "长安街知事",
"more_mode": false,
"article_genre": "article",
"image_url": "http://p3.pstatp.com/list/190x124/1bf4000b11da52a33c32",
"has_gallery": false,
"group_source": 2,
"comments_count": 28,
"group_id": "6409606379224957186",
"