安装python3+pip3+scrapy+redis导出数据

如果删除了系统上自带的python, 这里我把一个python文件删除了. 
这里只需要设置一个软连接就好了

bin] ln -s /usr/bin/python2.6 /usr/bin/python

Linux会自带一个Python2的版本, 我的服务器自带的是Python2.6.6的版本,这并不影响再次安装一个新的版本.

我使用的是wget网络传输方式下载的Python安装包.下面是安装过程: 
安装包的解压路径在 /opt/local 
安装包的路径在 /opt/local/installpackage 
1.下载

installpackage]# wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz

2.解压

local]#  tar -zxf installpackage/Python-3.6.4.tgz
local]#  cd Python-3.6.4.tgz
Python-3.6.4.tgz]#  ll

3.配置

Python-3.6.4.tgz]#  ./configure --prefix=/usr/bin/python3.6.4

系统默认的python路径就在/usr/bin目录下面, 可以看到python. python2 -> python, python2.6 几个关于python的东西

4.安装

Python-3.6.4.tgz]#  make
Python-3.6.4.tgz]#  make install

安装完成之后可以跳到安装目录下面看看

cd /usr/bin/python3.6.4

下面有bin lib 等几个目录, 到bin目录下可以看到一个python3 的二进制编码文件, 之后会用到

5.配置软连接(python2 -> python 就是软连接, 我们也需要配制成这样)

Python-3.6.4.tgz]#  ln -s /usr/bin/python3.6.4/bin/python3 /usr/bin/python3

/usr/bin/python3.6.4/bin/python3这个是你安装的python所在的路径, 安装路径在第三步骤

python3查看是否安装成功

6.配置pip 
跳转到cd /usr/bin/python3.6.4/bin下

 bin]# ls
2to3  2to3-3.6  easy_install-3.6  idle3  idle3.6  pip3  pip3.6  pydoc3  pydoc3.6  python3  python3.6  python3.6-config  python3.6m  python3.6m-config  python3-config  pyvenv  pyvenv-3.6

可以看到里面有pip3.和pip3.6,

设置pip3的软连接

bin]# cp pip3 /usr/bin
bin]# cp pip3.6 /usr/bin

pip3查看pip是否配置成功

------------------------------------------------------------------------------------------------------------------------------------------------------------------

接下来安装scrapy

pip3 install scrapy

安装完成后，用import scrapy查看是否安装完成

最后创建软连接

ln -s /usr/bin/python3.6.4/bin/scrapy  /usr/bin/scrapy

没有创建的话会报错-bash: scrapy: command not found

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

进网站https://github.com/sripathikrishnan/redis-rdb-tools#generate-memory-report

安装和使用方法文档上写了，如果安装完成找不到rdb命令的话，直接在安装目录下执行也可以：

pip install rdbtools python-lzf

rdb -c memory /usr/local/dump.rdb > result.csv

database	type	key	size_in_bytes	encoding	num_elements	len_largest_element
0	string	"cccc"	98	string	4	4
0	string	"bbb"	96	string	3	3
0	hash	"user"	102	ziplist	1	6
0	string	"aa"	94	string	2	2

结果列中的sizeinbytes就是你要的大小，导出后自己排下序就可以了。另外，注意修改你自己dump.rdb的文件路径。对于数据量太大的情况我没测试过，分析估计会比较慢。