爬虫入门导论
1、爬虫spider的概念:爬虫用于爬取数据,又称之为数据采集程序。爬取的数据来源于网络,网络中的数据可以是由WEB服务器(Nginx/Apache)、数据库服务器(MySQL、Redis)、索引库(ElastichSearch)、大数据(Hbase/Hive)、视频/图片库(FTP)、云存储(OSS)等提供的。爬取的数据是公开的、非盈利的。2、使用python编写的爬虫脚本(程序)可以完成定时、定量、指定目标(web站点)的数据爬取。主要使用多线程/进程,网络请求库、数据解析、数据存储、任务调度等任务。
复制链接