总结及scrapy爬虫框架

python:
tuple list set dict range str 分片 [::] 推导
函数：def 函数名称（参数）
实现函数体

参数种类：
必须参数
默认参数
关键参数
可变参数：tuple *args dict **kwargs
建议：默认参数一定要在必须参数之后定义，可变参数一定要定义在最后
函数种类：
外部函数
内部函数
匿名函数：lambda

装饰函数@


函数 总是要返回的 如果没有return None总是被返回


面向对象：
对象：已存在可被使用的实例，万物皆对象 模块 函数 变量 类 方法 都是对象
clss:描述其他实例信息的对象
方法：定义其他手里行为的对象
与函数的区别：函数可对立定义和调用
方法不能独立定义也不能独立调用

staticmethod---使用装饰器将方法变成静态方法
classmethod---使用装饰器将方法变成类方法
属性：定义其他实力特征的对象为属性

常用模块：
re xml... time socket threading random pickle os sys

re os sys xml pickle 常用

pdk -->python sdk

第三方：scrapy pandas numpy plot

scrapy:爬虫框架  特点：工业化，重量级
pyspider:国产通用爬虫

url:统一资源定位符---------协议----主机名----端口号----uri
        uri:同一主机内的统一资源标识符




urllib:python自带的框架，用于数据爬取

xpath:通过path风格的表达式来解析xml html
./当前路径

../上一级

爬虫框架

基本流程

发起请求
通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应

获取响应内容
如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型

解析内容
得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理

保存数据
保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件

可以爬取到什么样的数据

网页文本：如HTML文档，Json格式化文本等
图片：获取到的是二进制文件，保存为图片格式
视频:同样是二进制文件

其他：只要请求到的，都可以获取

如何解析

1. 直接处理
2. Json解析
3. 正则表达式处理
4. BeautifulSoup解析处理
5. PyQuery解析处理
6. XPath解析处理

如何保存数据

文本：纯文本，Json,Xml等

关系型数据库：如mysql,oracle,sql server等结构化数据库

非关系型数据库：MongoDB,Redis等key-value形式存储