爬虫小工具合集|不会编程也能爬数据

当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢？答案是有的，DataCastle为你准备了如下小工具，对于每个小工具你只需要花十几分钟时间，跟着我的步骤走一遍就可以掌握它啦~

一、Microsoft Excel

首先教大家一个用Excel爬取数据的方法，这里用的Microsoft Excel 2013版本，下面手把手开始教学~

（1）新建Excel，打开它，如下图所示

（2）点击“数据”——“自网站”

（3）在弹出的对话框中输入目标网址，这里以全国实时空气质量网站（http://www.pm25.in/rank）为例，点击转到，再导入

选择导入位置，确定

（4）结果如下图所示，怎么样，是不是很赞？

（5）如果要实时更新数据，可以在“数据”——“全部更新”——“连接属性”中进行设置，输入更新频率即可

二、Google Sheet

使用Google Sheet爬取数据前，要保证三点：使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话，下面我们就开始吧~

（1）打开Google Sheet网站：http://www.google.cn/sheets/about/

（2）在首页上点击“转到Google表格”，然后登录自己的账号，可以看到如下界面，再点击“+”创建新的表格

新建的表格如下：

（3）打开要爬取的目标网站，一个全国实时空气质量网站http://www.pm25.in/rank，目标网站上的表格结构如下图所示

（4）回到Google sheet页面，使用函数=IMPORTHTML(网址, 查询, 索引)，“网址”就是要爬取数据的目标网站，“查询”中输入“list”或“table”，这个取决于数据的具体结构类型，“索引”填阿拉伯数字，从1开始，对应着网站中定义的哪一份表格或列表

对于我们要爬取的网站，我们在Google sheet的A1单元格中输入函数=IMPORTHTML(“http://www.pm25.in/rank”,“table”,1)，回车后就爬得数据啦

（5）将爬取好的表格存到本地

是不是感觉超级简单？

三、you-get

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you
get＋你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明（http://dwz.cn/4rb53l），按照说明上写的按步骤操作就可以啦。

如果你想学更高端的Python爬虫，DataCastle为你准备了一套高效的学习路径。

如何在短时间内入门爬虫，并获得爬取大量数据的能力？

DataCastle学院课程《Python爬虫（入门+进阶）》从具体的案例着手，通过实际操作，学习具体的知识点。

课程中工程化爬虫及分布式爬虫技术，让你有获取大规模数据的可能。此外，你还将了解数据库（Mongodb）、pandas的基本知识，帮你储存爬取的数据，同时可以对数据进行管理和清洗，便于后续分析处理。

【想要学习爬虫的朋友们 我这里整理了很多Python学习资料上传到CSDN官方了，有需要的朋友可以扫描下方二维码进行获取】

一、学习大纲

二、开发工具

三、Python基础材料

四、实战资料