注:本文主要参照:手把手 | 教你爬下100部电影数据:R语言网页爬取入门指南(http://mp.weixin.qq.com/s/mIL-p2q7Jp-dhkXkDIrdHQ)
一入爬虫深似海,从此复制是路人。
都说在这一行混,多多少少都要会点爬虫,毕竟自己动手丰衣足食,本文记录小鑫第一次练习爬虫的过程。仅供参考,欢迎各路朋友指点。(E-mail:rockyxin@rockyxin.com)
文末有源代码及数据。
准备 | 必要的工具
chrome浏览器+SelectorGadget插件。
用来获得网页中某些部分的相关标签,若不懂HTML和CSS,强烈安利这个插件。懂HTML和CSS的话,略过,用不着我来教了。
安装插件之后,在网页的右上角就会出现图标,在使用的时候单机一下就可以。
点击之后,鼠标移动到网页上就会出现一系列的变化,再单机想要知道标签的地方,比如标题部分:
可以看到,虽然选中了标题,但同时公司名称和薪资也同样被选中了,想要取消选中公司名称很简单,单机一下公司名称所在的位置就可以了,如下图
至于不选中薪资,在这里没法做到,不过没关系,在后面可以进行清理。
当然,也可以通过右键查看网页源代码或者右键审查,可以查看标签,这种方式显然需要一点HTML基础。
至于R的操作环境,推荐使用RStudio,没有原因,它就是非常好……
开始 | 准备爬取
网上有看到爬知乎、爬微博、爬智联招聘、爬拉勾网,各种网站的爬取方式略微不同,小鑫在找了几个招聘的网站之后,