笔记整理——Python爬虫(二):开发环境搭建(Linux)
MySQL安装及配置
MongoDB安装及配置
Redis安装及配置
Python爬虫常用库安装及配置
MySQL安装及配置
Linux下MySQL5.7诟病百出,已经不建议使用,那么如何在Linux下安装MySQL8.0呢?
将MySQL APT存储库添加到系统的软件存储库列表中
进入MySQL官网查看版本号:
图片中红框标识出来的就是最新版本号,复制此版本号;
使用wget进行下载: wget https://dev.mysql.com/get/mysql-apt-config_0.8.15-1_all.deb
将下载好的文件使用dpkg命令进行安装: sudo dpkg -i mysql-apt-config_0.8.15-1_all.deb
中间弹窗直接点击OK;
然后更新一下存储库信息: sudo apt-get update
使用APT安装MySQL
(注意:如果不执行以上步骤直接进行APT安装,则安装的是MySQL5.7版本)
命令: sudo apt-get install mysql-server
其中两个弹窗:
第一个是确认密码(这一步一定要设置数据库密码)
另一个是选择加密方式,工具较新选第一个,较老选第二个
开放远程访问
为了方便后期使用可视化图形界面操作数据库,这里需要开放一下远程访问权限。
1.连接到数据库; mysql -uroot -p
输入密码进入;
2.查看数据库中mysql表; show databases;
3.选择当前使用数据库为mysql; use mysql;
4.查看权限: select host, user, authentication_string, plugin from user;
5.更改加密方式(******为你自己设置的密码): ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '******';
6.开放远程访问权限(授权远程连接): ALTER USER 'root'@'%' IDENTIFIED BY '123456' PASSWORD EXPIRE NEVER;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
7.刷新权限: flush privileges;
MongoDB安装及配置
首先检查一下本机是否安装MongoDB:
确认未安装,执行APT命令进行安装MongoDB:
sudo apt-get install mongodb
如下图:
安装完毕后简单测试一下:
输入命令:
mongo
mongod
出现下图所示:
已经能够正常进入MongoDB界面,安装成功。
Redis安装及配置
使用APT命令安装Redis数据库:
sudo apt-get install redis-server
安装完毕后测试:
redis-cli
至此安装成功。
接下来对redis进行基本配置:
进入 /etc/redis 下的redis.conf配置文件:
sudo vi /etc/redis/redis.conf
如下图所示:
找到bind 127.0.0.1,将其注释掉即可;
继续下拉,找到requirepass foobared,如图:
这里就是设置redis的连接密码,将其解除注释,并修改foobared为任意自己想要设置的密码即可;
修改完毕后,输入:
:wq
保存,关闭窗口,然后输入:
sudo service redis restart
重启一下redis服务即可。
在设置完毕redis连接密码后,如果仍然以无密码状态登录,当你做任何操作时,会提示你没有权限,此时只需要退出redis再重新进入:
redis-cli -a yourpassword
即可恢复正常使用,如下图:
Python爬虫常用库安装及配置
Python爬虫常用库有很多,在这里只介绍几个比较常见的库的安装。
Linux下常用的Python库大部分都是通过pip3包管理工具进行安装的,所以在安装这些库之前,我们先安装pip3:
sudo apt-get install python3-pip
测试本机已安装,故不作图片演示;
安装完毕之后查看下版本号:
pip3 --version
确认为pip3即可:
爬虫常用库的安装:
pip3 install requests selenium beautifulsoup4 pyquery pymongo redis flask django jupyter
其实诸如redis等我们之前已经安装过了,jupyter也已经在安装Anaconda3的时候自动安装好了。
其他常用Python库安装:
pymysql:
pip3 install pymysql
lxml:
sudo pip3 install lxml
scrapy:
首先安装依赖,依次执行以下命令安装所需依赖库:
sudo apt-get install python-dev
sudo apt-get install build-essential
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-setuptools
如图所示:
然后再安装scrapy:
pip3 install Scrapy
验证是否安装成功:终端输入命令:
scrapy
如图: