linux Scrapy(1)

1.首先搭建linux中的Scrapy环境

（1）pip

登入hadoop用户，首先看下pip版本是多少

输入:pip -V是不是最新版本的如果不是执行pip install --upgrade pip命令

（2）安装gcc 

输入:yum -y install gcc

我在安装的时候报错

解决方法:https://blog.csdn.net/baiyan_er/article/details/80211894这个链接

（3）安装Twisted,官网下载Twisted最新版

 下载后，传到hadoop用户下解压,tar -jvxf Twisted-18.4.0.tar.bz2

解压后执行命令:python setup.py install

（4）安装 scrapy

输入:pip install scrapy

2、以上是linux 安装scrapy的过程,接下来我们测试下看看能不能爬取

把我们之前在windows下的爬虫上传到hadoop的目录上。这里test_spider这个目录是需要先新建的