目前来说,网上的爬虫软件挺多的,但是能直接导出mysql格式,并且能正确插入数据库中的不多,这个和mysql版本、数据格式有一定的关系等,但是可以先导出为excel,整理之后再导入mysql数据库,这样出错的几率就会减少。下面我介绍3种比较简单的爬虫软件,不需要写任何代码,就可以直接爬取数据,并导出为excel表格,分别是Excel,八爪鱼和FireSpider,主要如下:Excel爬取数据:相信这个功能,大部分懂excel的人都了解,这是excel自带的一个数据采集的功能,通过访问对应的网站,可以直接导出网页数据,下面以爬取PM2.5的数据为例,简单介绍一下过程:
1.新建一个excel文件,并打开,点击“数据”->“自网站”->“输入网址url”->“导入”,如下图:
2.选中需要导入的数据,点击导入,如下,Excel已经正确加载出数据,如下图所示:
excel这种爬取数据的方式比较简单,也比较容易操作,只要熟悉熟悉操作,很快就能掌握,当然你也可以设置刷新时间,定时更新数据,这里不再赘述。八爪鱼爬取数据:这是一个免费的爬虫软件,挺好用的,功能很强大,大部分网站的数据都能爬取,官方教程也很详细,熟悉熟悉相关示例,很快就能掌握爬取的过程。下面介绍一下安装过程,及简单爬取58同城招聘数据:
1.下载安装。这个不再多说,直接在官网下载就行,一个exe文件,很快就能安装完毕:
2.爬取数据,这个过程也比较简单,按着步骤一步一步来就行,先创建任务,在选择你要爬取的内容,最后一键爬取就行,完成后即可导出为excel文件,如下:
3.对应导出的excel数据如下,已经成功抓取到招聘数据:
这个软件的官方文档介绍比较详细,有详细的视频教程,可以爬取许多网站的数据,感兴趣的可以实验一下。FireSpider爬取:这个软件用起来也挺不错的,比较简单,和八爪鱼类似,直接操作就行,也不用写一行代码,下面我简单介绍一下这个软件的安装过程和简单示例:
1.下载安装。这个不多说,直接在官网上面下载个试用版本,一个exe文件,直接双击安装就行:
2.抓取数据的话,直接按着教程步骤一步一步来就行,官方软件也自带了教程和相关示例,使用起来也很方便:
至此,excel,八爪鱼,和FireSpider这3个爬虫软件都介绍完毕,只要你熟悉熟悉操作过程,很快就能掌握的,至于后面的话,需要导入mysql数据库,这个使用navicat等软件都可以进行导入,不过有时候存在版本或数据格式问题,这个需要自己调整一下excel数据,然后再进行导入,希望以上分享的内容能对你有所帮助吧。