第一章、概述
一、爬虫Spider的概念
爬虫用于爬取数据,又称之为数据采集程序。
爬取的数据来源于网络,网络中的数据可以是由Web服务器(Nginx,Apache),数据库服务器(mysql,Redis),索引库(ElastichSearch),大数据(Hbase,Hive),视频/图片库(FTP),云存储(OSS)等提供的。
爬取的数据是公开的,非盈利的。
二、Python爬虫
使用Python编写的爬虫脚本(程序)可以完成定时,定量,指定目标(Web站点)的数据爬取。主要使用 多(单)线程/进程,网络请求库,数据解析,数据存储,任务调度等相关技术
Python爬虫工程师,可以完成接口测试,功能性测试,性能测试和集成测试