使用python抓取时配置一台linux抓取机

python抓取机的配置

---

1.添加用户

• 给机器增加一个普通用户

  [root@litb ~]# useradd catchtop

  为该用户设定登陆密码，否则该用户是无效的。

  [root@litb ~]# passwd catchtop

• 为该用户设定无需密码的sudo权限：

  vi /etc/sudoers

  在root ALL=(ALL) ALL下面增加一句：

  catchtop ALL=(ALL) ALL

  在## Same thing without a password下面添加一句：

  catchtop ALL=(ALL) NOPASSWD: ALL

  此后在catchtop用户下可以执行加sudo的命令而无需密码。

---

2.安装setuptools工具或pip工具

• 安装setuptools

  使用wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py -O - | sudo python下载安装包

  解压后进入目录执行 sudo python setup.py install安装

  完成后模块安装方式 sudo easy_install httplib2

• 安装pip

  sudo yum install python-pip

  完成后模块安装方式 sudo pip install httplib2

• 主要安装的模块如下 :

模块	功能简介
httplib2	网页抓取
pika	RabbitMQ
lockfile	程序锁
xlrd	读excel
xlwt	写excel

---

3.安装MySQLdb模块

需要下载相应的安装包，此处为1.2.5版本

[catchtop@litb ~]$ wget --no-check-certificate https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip#md5=654f75b302db6ed8dc5a898c625e030c

进行unzip操作：[catchtop@litb ~]$ unzip MySQL-python-1.2.5.zip

在安装之前我们需要做一些准备工作：

sudo yum install mysql

sudo yum install mysql-server

sudo yum install mysql-devel

必须执行yum install python-devel (否则报：error: command ‘gcc’ failed with exit status 1)

最终 我们进入到MySQL-python-1.2.5目录下，执行sudo python setup.py install安装成功该模块。