Python爬虫基础知识

(未完成)

爬虫概念

爬虫用于爬取数据，又称之为数据采集程序

爬取数据来源于网络，网络中数据可以是有web服务器、数据库服务器、索引库、大数据等等提供

爬取数据是公开的、非盈利。

python爬虫

使用python编写的爬虫脚本可以完成定时、定量、指定目标的数据爬取。主要使用多（单）线程/进程、网络请求库、数据解析、数据储存、任务调度等相关技术。

 爬虫和web后端服务关系

爬虫使用网络请求库，相当于客户端请求，web后端服务根据请求响应数据。即想web服务器发起http请i去，正确地接收响应数据，然后根据数据地类型进行数据地解析及存储。

爬虫程序再发起请求前，需要伪造浏览器（User-Agent指定请求头），然后再发起请求，这样响应地成功率比较高。

Python爬虫技术相关库

网络请求

urllib

requests

selenium（UI自动测试，动态js渲染）

appnium用于手机app爬虫或UI测试

数据处理/解析

re正则

xpath

bs4

json

数据存储

pymysql

mongodb

elasticsearch

多任务库

多线程（threading）

线程队列（queue）

协程（asynio、gevent/eventlet）

爬虫框架

scrapy

scrapy-redis分布式（多机爬虫）

常见反爬虫地策略

UA（User-Agent）策略

登陆限制（Cookie）策略

请求频次（IP代理）策略

验证码（图片-云打码，图片验证，滑块验证）

动态js（Selenium/Splash/api接口）策略

---

不嫌弃的点点关注，点点赞 ଘ(੭ˊᵕˋ)੭* ੈ✩‧₊˚