linux下开发python爬虫_笔记整理——Python爬虫（二）：开发环境搭建（Linux）

笔记整理——Python爬虫(二)：开发环境搭建(Linux)

MySQL安装及配置

MongoDB安装及配置

Redis安装及配置

Python爬虫常用库安装及配置

MySQL安装及配置

Linux下MySQL5.7诟病百出，已经不建议使用，那么如何在Linux下安装MySQL8.0呢？

将MySQL APT存储库添加到系统的软件存储库列表中

进入MySQL官网查看版本号：

图片中红框标识出来的就是最新版本号，复制此版本号；

使用wget进行下载： wget https://dev.mysql.com/get/mysql-apt-config_0.8.15-1_all.deb

将下载好的文件使用dpkg命令进行安装： sudo dpkg -i mysql-apt-config_0.8.15-1_all.deb

中间弹窗直接点击OK；

然后更新一下存储库信息： sudo apt-get update

使用APT安装MySQL

(注意：如果不执行以上步骤直接进行APT安装，则安装的是MySQL5.7版本)

命令： sudo apt-get install mysql-server

其中两个弹窗:

第一个是确认密码(这一步一定要设置数据库密码)

另一个是选择加密方式，工具较新选第一个，较老选第二个

开放远程访问

为了方便后期使用可视化图形界面操作数据库，这里需要开放一下远程访问权限。

1.连接到数据库； mysql -uroot -p

输入密码进入；

2.查看数据库中mysql表； show databases;

3.选择当前使用数据库为mysql； use mysql;

4.查看权限： select host, user, authentication_string, plugin from user;

5.更改加密方式(******为你自己设置的密码)： ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '******';

6.开放远程访问权限(授权远程连接)： ALTER USER 'root'@'%' IDENTIFIED BY '123456' PASSWORD EXPIRE NEVER;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;

ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

7.刷新权限： flush privileges;

MongoDB安装及配置

首先检查一下本机是否安装MongoDB：

确认未安装，执行APT命令进行安装MongoDB：

sudo apt-get install mongodb

如下图：

安装完毕后简单测试一下：

输入命令：

mongo

mongod

出现下图所示：

已经能够正常进入MongoDB界面，安装成功。

Redis安装及配置

使用APT命令安装Redis数据库：

sudo apt-get install redis-server

安装完毕后测试：

redis-cli

至此安装成功。

接下来对redis进行基本配置：

进入 /etc/redis 下的redis.conf配置文件：

sudo vi /etc/redis/redis.conf

如下图所示：

找到bind 127.0.0.1,将其注释掉即可；

继续下拉，找到requirepass foobared,如图：

这里就是设置redis的连接密码，将其解除注释，并修改foobared为任意自己想要设置的密码即可；

修改完毕后，输入：

:wq

保存，关闭窗口，然后输入：

sudo service redis restart

重启一下redis服务即可。

在设置完毕redis连接密码后，如果仍然以无密码状态登录，当你做任何操作时，会提示你没有权限，此时只需要退出redis再重新进入：

redis-cli -a yourpassword

即可恢复正常使用，如下图：

Python爬虫常用库安装及配置

Python爬虫常用库有很多，在这里只介绍几个比较常见的库的安装。

Linux下常用的Python库大部分都是通过pip3包管理工具进行安装的，所以在安装这些库之前，我们先安装pip3：

sudo apt-get install python3-pip

测试本机已安装，故不作图片演示；

安装完毕之后查看下版本号：

pip3 --version

确认为pip3即可：

爬虫常用库的安装：

pip3 install requests selenium beautifulsoup4 pyquery pymongo redis flask django jupyter

其实诸如redis等我们之前已经安装过了，jupyter也已经在安装Anaconda3的时候自动安装好了。

其他常用Python库安装：

pymysql：

pip3 install pymysql

lxml:

sudo pip3 install lxml

scrapy:

首先安装依赖，依次执行以下命令安装所需依赖库：

sudo apt-get install python-dev

sudo apt-get install build-essential

sudo apt-get install libxml2-dev

sudo apt-get install libxslt1-dev

sudo apt-get install python-setuptools

如图所示：

然后再安装scrapy：

pip3 install Scrapy

验证是否安装成功：终端输入命令：

scrapy

如图：