Python分布式爬虫--scrapy初识

安装虚拟环境--切换

virtualenv -p 指定版本

安装虚拟环境管理工具

pip install virtualenvwrapper

启动workon

virtualenvwrapper创建不同版本虚拟环境

mkvirtualenv --python="其他版本路径" 名称

scrapy框架

scrapy框架基于twisted异步IO框架

scrapy方便扩展，提供很多内置功能

scrapy内置css和xpath selector非常方便，beautifulsoup最大缺点就是慢

网页分类

常见类型的服务

1.静态网页

2.动态网页

3.webservice(restapi)

爬虫能做什么

1.搜索引擎--百度 谷歌 垂直领域搜索引擎

2.推荐引擎--今日头条

3.机器学习的数据样本

4.数据分析