python会计实证研究_实证研究者的爬虫工具选择

作为一个实证研究小青年??,有段时间因为研究的需要,要做定向爬虫。这是自己学习Python最初的缘由。那个时候爬虫的材料还不是太多,自己在网上找了一些文章和电子书来学习。边学边试,不久就完工了。

完工之后还不时关注爬虫的技术教程,后来发现网上有大批小伙伴开始学习爬虫,很多是非专业小伙伴(本职工作不是爬虫 ),一时间感觉爬虫好火。

个人认为(不一定对),爬虫火是源于用户需求(研究的需要;好玩;尝鲜……)和培训者推动。作为实证研究者,确实需要一些爬虫技术来帮助自己完成数据收集,这个时候选一个比较好的工具很有必要。如果阅读了比较陈旧的网络经验贴或者听了第三方培训,而选择了不太合适的工具,会影响占用过多的研究时间,影响研究进展。

场景:做实证研究,需要取数,可以爬虫(定向爬虫)实现。那么,如何选工具呢?

Python:最简单的组合requests+bs4

当时自己花了大量时间去研究urllib和requests异同,bs4和lxml的异同……嘿呀,左手来个urllib,右手来个requests……浪费时间?

期间还去学Scrapy,不过用得不太习惯,后面就没有仔细学习了。

此外还去折腾无头浏览器。嗨,对只是拿数据做研究发文章的小青年,其实没有必要去研究无头浏览器。

术业有专攻,过于复杂的爬虫还是交给专业小伙伴来做,自己抓紧进行研究设计和构思。

复杂到什么程度呢,下面举些例子:如果高频率发起请求,只是换换ip代码就还可以凑合用,那么还可以自己干

如果只是post几个数据,构建一些url,那么还可以自己干

如果只是构造Request Headers就可以蒙混过关抓数据,那么还可以自己干

如果……

如果已经需要应对复杂验证码,这个时候可以不自己整了

如果自己东拉西扯写了好几天,代码还没实现,这个时候可以不自己整了

可以跳过的工具R

R社区的小伙伴很热情,编了一些包,也可以爬虫。有些初学的小伙伴很激动,R可以爬虫啦。其实,爬虫不是R语言的强项。如果不是尝鲜,没有必要花时间去学习用R来实现爬虫。有多的时间可以深入学习数据分析手艺和撰写报告的手艺。Stata

Stata乃是实证小青年常用之利器,做起应用微观计量十分便捷,若是分析结果一路星星,那是何等的酣畅淋漓?

现在有小伙伴用Stata做爬虫,还做文本分析。其实只是做简单爬虫,稍微复杂点的网页或者是有点基本的反爬虫机制,Stata就难以应付了。所以,爬虫就不要去麻烦实证分析好伙伴Stata,交给其他更好的工具吧。curl

有微信文章推介用curl来爬虫。curl的官方介绍是“command line tool and library for transferring data with URLs”。只简单用过curl,个人认为在爬虫场景中它没有requests+bs4组合好用。……

其他工具

此外,还尝鲜过Julia(<1.0)和Node.js中的requests工具,但是感觉都不爽。这和个人的手艺不熟练?、工具生态不成熟有关。不过,Node.js写爬虫还是很好玩。

Go语言爬虫工具也有一些,可以后面去试试。

除了自己写代码,网上还有一些数据采集工具也可以尝试一下。

以上是对“拿数据,做实证,发文章”小伙伴的爬虫工具选择的看法,一家之言,仅供参考?

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页