数据采集笔记-task2

1. 八爪鱼软件功能

该软件的功能是通过爬取路径，自动爬取网页中的信息。

1.1 爬取步骤有关键三步：

• 设置爬取网页（设置数据所在网页）
• 设置爬取流程和爬取字段（模拟鼠标对目标数据进行操作）
• 程序运行进行数据爬取。（模拟人把采集的数据汇整起来）

2. 数据采集示例

软件的使用也是分为上面三个部分：下面举在微博上搜索觉醒年代的关键词进行展示。

如果是我们认为进行关键词查找，会有一下几步：

1. 设置爬取网页

• .打开微博网站（进入浏览模式登陆账号，再保存当前Cookie设置，省去下次登陆）
  

2. 设置爬取流程和爬取字段

• 点击搜索框
• 输入“觉醒年代”四个字（设置在输入后自动回车）
  

- 页面抓取（已经出现需要的信息面） 到了这一步可以点击右上角的自动识别网页，会自动生成提取页面数据的语句 - 对爬取的数据进行筛选（不要的1.）

3. 程序运行进行数据爬取

• 流程已经全部设置到位了，点击右上角的保存并开始采集

得到的数据

例子总结：在这个实例中，我们认为需要设置的就是设置每一步我们需要电脑完成的任务，然后电脑就会进行循环操作。核心操作是打开要找数据的页面，然后通过软件自动筛选提取。