玩转Python-Scrapy（一）：初探scrapy

业务需要用到scrapy去抓数据，所以新挖个坑，准备好好学一波scrapy，也给后人先踩个坑。

玩转Python-Scrapy系列：

玩转Python-Scrapy（一）：初探scrapy
玩转Python-Scrapy（二）：元素选取之CSS选择器与XPATH表达式

概念

爬虫

爬虫，简而言之，就是在网络上按照爬虫编写者的目的，去进行某些数据的抓取工作的一种程序。

之所以要用到爬虫，意图很明显，我们有希望从网上获取的一些数据，比如科学研究者往往需要获得一些实验数据，比如想研究舆论，可能得去新浪微博上抓去人们对于某个话题的评论信息。而如果人工去一个个地复制粘贴，难免耗时耗力，很难短时间内获得大量数据。于是，爬虫就应运而生，作为以高速运转为特点计算机程序，它可以非常高效率地去获取你指定的信息。

当然其实很多数据已经被人收集过了，往往各个领域或者行业会有一些比较知名的收费或免费数据库提供给公众，大家有需求的就可以去数据库下载数据。比如一般的国家统计局年鉴，金融领域的国泰安数据库，wind等。所以大家看到想要的数据，也别马上就心急火燎地想要自己写个爬虫出来，说不定早有人收集过了，你去download一下就ok了。毕竟最终目的，是为了高效地获取想要的数据嘛。