爬取数据分析
爬取的页面即为搜索页面:
view-source:https://www.worldjournal.com/search/word/8877/XXX
首先确定爬取以下数据:
标题:
新闻的标题是毋庸置疑要爬取的
简介:
新闻的简介选取了搜索结果中对新闻的简单介绍
发布时间:
也是比较重要的信息
分类:
这个存在于网页html代码中
链接:即URL
建立数据库表
根据所需爬取数据建立如下数据库表
view-source:https://www.worldjournal.com/search/word/8877/XXX
标题:
新闻的标题是毋庸置疑要爬取的
简介:
新闻的简介选取了搜索结果中对新闻的简单介绍
发布时间:
也是比较重要的信息
分类:
这个存在于网页html代码中
链接:即URL
根据所需爬取数据建立如下数据库表