本文是作者初次尝试使用R语言和rvest包进行网页爬虫的实践教程，详细介绍了如何爬取BOSS直聘上的数据分析岗位信息，包括标题、薪资、公司名称等，并针对爬取过程中遇到的问题提出了解决方案。适合R语言初学者和对爬虫感兴趣的读者。
注：本文主要参照：手把手 | 教你爬下100部电影数据：R语言网页爬取入门指南（http://mp.weixin.qq.com/s/mIL-p2q7Jp-dhkXkDIrdHQ）
一入爬虫深似海，从此复制是路人。
都说在这一行混，多多少少都要会点爬虫，毕竟自己动手丰衣足食，本文记录小鑫第一次练习爬虫的过程。仅供参考，欢迎各路朋友指点。（E-mail：rockyxin@rockyxin.com）
文末有源代码及数据。
准备 | 必要的工具
chrome浏览器+SelectorGadget插件。
用来获得网页中某些部分的相关标签，若不懂HTML和CSS，强烈安利这个插件。懂HTML和CSS的话，略过，用不着我来教了。
安装插件之后，在网页的右上角就会出现图标，在使用的时候单机一下就可以。
点击之后，鼠标移动到网页上就会出现一系列的变化，再单机想要知道标签的地方，比如标题部分：
可以看到，虽然选中了标题，但同时公司名称和薪资也同样被选中了，想要取消选中公司名称很简单，单机一下公司名称所在的位置就可以了，如下图
至于不选中薪资，在这里没法做到，不过没关系，在后面可以进行清理。
当然，也可以通过右键查看网页源代码或者右键审查，可以查看标签，这种方式显然需要一点HTML基础。
至于R的操作环境，推荐使用RStudio，没有原因，它就是非常好……
开始 | 准备爬取
网上有看到爬知乎、爬微博、爬智联招聘、爬拉勾网，各种网站的爬取方式略微不同，小鑫在找了几个招聘的网站之后，发现BOSS直聘
最低0.47元/天 解锁文章
扫一扫
2332
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
