python爬虫零基础学习（四）配置python爬虫环境

概要

1. 了解python中常用的爬虫库
2. 了解MySQL数据库的配置方法
3. 了解MongoDb数据库的配置方法

python爬虫相关库的介绍及配置

python整合了许许多多用于爬虫开发的库，使用python开发爬虫需要了解python中常用的爬虫库的特点、功能及配置方法。

urllib库在安装python时就已经给我们安装好了，而Requests、urllib3、Scrapy、lxml和BeautifulSoup4则需要通过pip工具进行下载安装。

例如使用pip安装requests，其他第三方库安装一样：

pip install requests  #安装requests库

配置MySQL数据库

windows系统上

我是用的是MySQL社区版本：

（1）双击打开安装包，勾选“I accept the license terms”选项，点击Next按钮进入安装选择界面：

（2）单机”Edit“按钮，在弹出框中选择”64-bit“选项，单击”Filter“：

（3）在左侧栏中选择需要安装的程序，单击中间的向右箭头将其放在安装栏中：

（4)单击”Next“按钮，检测系统上是否安装过相关依赖的软件：

（5）单击”Next“按钮，进入安装确认步骤，将安装的程序会显示在框中，单击”Execute“开始安装：

（6）安装完成后，进行配置，在”Config Type“中选择”Development Machine“，MySQL端口号使用默认的3306即可：

（7）设置root账号的密码，单击”Add User“按钮可以添加一个普通用户权限的账户，当然初学者使用root即可：

（8）选择”Configure Mysql Server as a Windows Service“：

（9）进入设置应用服务配置，单击”Exceute“按钮开始执行：

（10） 执行成功应用服务配置会变成绿色的状态，点击”Finish“完成

当然安装完成后，还要配置MySQL的环境变量：
右键此电脑点击属性，再如图操作：

linux操作系统上

本次实验使用的是Linux发行版centos7，使用”yum"命令安装MySQL社区版

（1）打开终端，使用su root切换至root用户，使用rpm -qa | grep mysql命令查看是否已经安装了MySQL数据库。没有任何显示则没有安装，如果已经安装可以使用rpm -e mysql进行卸载

（2）使用wget http://dev.mysql.com/get/mysqlcommunity-release-el7-5.noarch.rpm命令打开下载链接

（3）下载完成后，使用rpm -ivh mysql-community-release-el7-5.noarch.rpm命令进行加载，再运行yum -y install mysql mysql-server mysql-devel进行安装

（4）安装完成后，运行yum -y install mysql mysql-servermysql-devel和rpm-qa | grep mysql这两个命令确认是否成功

（5）使用数据库前，需要使用service mysqld start启动MySQL服务

（6）运行mysql -u root -p进入客户端，-p后面是写入密码

配置MongoDb数据库

windows系统上安装

你可以到MongoDb官网下载，官网上提供方多种版本的下载，我是用的时mongodb-win32-x86_64-2012plus-4.2.1-signed.msi。

（1）打开msi安装包，勾选”I accept the terms in the LicenseAgreement“，点击”Next“：

（2）安装提供两种模式：完整模式（Complete）和定制模式（Custom）：

（3）点击”Custom“进入定制模式，在该模式下可以选择安装路径和需要安装的部件，点击”Browse“可以切换安装路径，单击”Next“按钮开始安装：

（4）安装完成后，首先在安装目录下建立一个mongo.conf配置文件，配置以下内容，然后就是配置环境变量了，和MySQL配置一样，在系统变量”Path“中添加MongoDb的路径，我的路径是：D:\MongoDB\bin：

（5）安装MongoDb服务。使用管理员权限打开ＣＭＤ，输入mongod --config "D:\MongoDB\bin\mongo.conf" --install --serviceName "MongoDB"：

#创建、开启及关闭服务命令
cd /d D:\MongoDB\bin #切换至安装目录下
mongod --config “D:\MongoDB\bin\mongo.conf” --install --serviceName “MongoDB” #安装服务
net start MongoDB #开启服务
net stop MongoDB #关闭服务

最后在浏览器网址栏中输入：http://127.0.0.1:27017：

表明启动成功

linux系统上安装

（1）使用sudo wgethttp://downloads.mongodb.org/linux/mongodb-linux-x86_64-rhel703.4.11.tgz从官网上下载链接中获取MongoDB数据库的tar包

（2）解压
输入sudo tar zxvf mongodb-linux-x86_64-rhel70-3.4.11.tgz进行解压，并使用sudo mv mongodb-linux-x86_64-rhel70-3.4.11 mongodb和sudo cp -R mongodb/usr/local将其复制到/usr/local路径下

（3）切换至/usr/local/mongodb/bin路径下，使用sudo vimmongodb.conf命令创建MongoDB数据库配置文件，并输入以下内容：

（4）切换回/usr/local/mongodb路径下，依次运行sudo mkdir data 、 cd data 、sudo mkdir db、 sudo mkdir logs命令创建文件夹

（5）切换路径到/usr/local/mongodb/bin，运行sudo./mongod -f mongodb.conf启动MongoDB

（6）完成