机缘巧合之下,发现使用搜狗搜索引擎输入指定关键词,可以直接从结果中筛选出发布于微信公众号的文章,为了看文章方便,打算写个代码把这些文章的标题、链接等信息保存到本地表格中。
说明:本练习仅为学习,所获结果不做商用,如有侵权,烦请联系删除!
练习8:搜狗搜索引擎微信文章
目标:获取搜狗搜索引擎上指定关键词的微信文章信息,包括文章标题、链接、简介、发布平台以及发布时间,并保存至本地。
相关库名:requests/beautifulsoup/pandas
目录
1.网页解析
打开目标网站搜狗搜索引擎 - 上网从搜狗开始,输入关键词“自述”(刚好想找相关文章学习如何写作自述体裁的报道),进入相关页面后点击顶部分类栏的“微信”,如图:
检查后发现页面的相关信息是直接写在页面源代码中的,所以接下来将主要通过beautifulsoup库获取相关信息。
搜索结果的第一页和第二页对应的链接分别如下