阿里云服务器 - 必备软件和工具的安装

1. 更新apt-get

避免安装一些工具或软件等操作时报错

# 更新apt-get
sudo apt-get update

2. 查看进程

查看包含XXX关键字的进程

-ps -A | grep XXX

3. 安装git

便于下载github项目

# 安装git
apt-get install git

3.1 下载代理池

项目位置: 点击此处（有具体的操作流程文档）

1. 下载proxy_pool项目

git clone https://github.com/jhao104/proxy_pool.git

2. 进入虚拟环境，进入项目，安装依赖包requirement.txt

注意：需要安装 miniconda，见下。

# miniconda软件
conda activate
# 进入下载的项目
cd proxy_pool
# 安装依赖包，可以在当前目录ls指令，查看目录情况
pip install -r requirements.txt

3. 修改项目自身配置

注意：需要安装Redis。见下。

进入配置

vim Config/setting.py

# 该模式下，寻找该关键字
/SSDB

修改数据库类型和数据库端口号

# 保存并退出
:wq

4. 启动服务

cd cli/

# 进行爬取
python proxyPool.py schedule

新建终端，进入cli文件夹，执行命令启动web服务

python proxyPool.py webserver

5. 在本机访问服务器

为jsonAPI，直接运用到代码中进行解析即可使用。

4. 安装miniconda

# 安装64位minconda（袖珍版）

# 下载软件
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装软件
bash Miniconda3-latest-Linux-x86_64.sh
# 使配置文件生效。设定系统路径。
# 随后自动进入虚拟环境。可使用cat ~/.bashrc进入查看
source ~/.bashrc
# 退出虚拟环境
conda deactivate
# 进入虚拟环境
conda activate

5. 安装数据库

5.1 Redis

安装：

# 安装redis
sudo apt-get install redis-server

查看redis相关进程：

# 安装完成后，Redis服务器会自动启动。查看进程。
ps -aux|grep redis

进入Redis：

# 进入客户端
redis-cli
127.0.0.1:6379>
# 退出
exit

卸载：

# 卸载
sudo apt remove redis_server
# 纯净卸载
sudo apt-get purge --auto-remove redis-server

远程连接（更改绑定的端口）：

sudo vi /etc/redis/redis.conf

bind 127.0.0.1 # 注释
bind 0.0.0.0 # 添加

密码设置：

# 设置密码
config set requirepass 123456

# 查看密码
config get requirepass

密码设置之后，当你退出再次连上redis的时候，就需要输入密码了，不然是无法操作的。

redis-cli -h XXX.XXX.XXX.XXX -p 6379 -a XXX

# -h host -p port -a auth

redis服务：
每一次更改配置后，都需要重启服务来使配置生效

# 开始 重启 停止
sudo service redis-server [start | restart | stop]

# 初始配置重启
sudo /etc/init.d/redis-server restart

5.2 MySQL

# 安装mysql
apt-get install mysql-server
apt-get install libmysqlclient-dev

5.3 MongoDB

安装与卸载：

# 安装mongodb
sudo apt-get install mongodb

# 删除
sudo apt-get --purge remove mongodb mongodb-clients mongodb-server

https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/

远程连接（更改绑定的端口）：

$ sudo vim /etc/mongodb.conf
 
# 只监听本地接口。注释掉听在所有接口。
bind_ip = 127.0.0.1  # 注释
bind_ip = 0.0.0.0  # 添加

客户端：

# 进入，启动
mongo

# 进入后退出
exit  或  ctrl+c

# 查看帮助
mongo -help

服务端：

# 查看帮助
mongod –help

# 启动
sudo service mongod start

# 停止
sudo service mongod stop

# 重启
sudo service mongod restart

# 查看是否启动成功
ps ajx|grep mongod

# 配置文件的位置
/etc/mongod.conf

# 默认端⼝(熟记)
27017

# 日志的位置
/var/log/mongodb/mongod.log

密码设定(管理员)：

> use admin
switched to db admin
> db.addUser('username','password')

> mongo 134.567.345.23:27017/admin -uusername -p
# 输入password

添加某数据库的用户：

use mydb

db.createUser({user:"lily",pwd:"13579",roles:[{ role: "readWriteAnyDatabase", db: "mydb" }]})

MongoDB操作
mongodb添加用户的方法
mongodb内置的用户角色

6. 安装虚拟环境

# 安装虚拟环境
pip install virtualenv
pip install virtualenvwrapper