Scrapy+MongoDB爬虫路线笔记(1)-环境配置

1.环境配置

【1】Scrapy1.5版本的官方文档：阅读官方文档是最简单、最直接、最准确的方法，可以绕过一些过时博客的坑。
【2】Ubuntu16.04系统下Python版本切换的博客：亲测该文档的教程可以将2.7版本升级到3.5
【3】独立Python运行环境设置virtualenv，参考简单明了的廖雪峰博客，也可以参考它的官方文档，内容比较全。

---

virtualenv是创建孤立的Python环境的工具参考1

安装：
pip install virtualenv
创建环境：
virtualenv env # 这样会创建一个env文件夹

指定Python版本创建环境：（前提已经安装python3）
virtualenv -p /usr/bin/python3 virpy3

进入文件夹开启虚拟环境：
source bin/activate

退出虚拟环境：
deactivate

---

在virtualEnv中使用Scrapy步骤：
1.首先要完成virtualenv的安装，并在指定的文件夹中创建环境，环境创建之后，开启虚拟环境。
此时，在ubuntu提示符之前会出现(env)的标识，表明此时进入了独立的python环境。

在该环境中可以进行任何安装，都是独立的。例如安装Scrapy官方文档中提到的一些依赖库
$sudo apt-get install python3 python3-dev

$ pip install scrapy

---

2.代码要点

【1】a bytes-like object is required,not ‘str’；该问题主要是由于python3和python2区别造成的
https://blog.csdn.net/csu_vc/article/details/78372932

【2】Python3.6 报错AttributeError: module ‘urllib’ has no attribute ‘Request’；；该问题主要是由于python3和python2区别造成的
https://blog.csdn.net/supramolecular/article/details/79692918

【3】Python基础学习-‘module’ object has no attribute 'urlopen’解决方法
https://blog.csdn.net/dai_fun/article/details/49887557

【4】URL中中文编码的问题
https://blog.csdn.net/qq_39377696/article/details/80454950