环境
VirtualBox_v6.0.14
CentOS_v7.1908
Python_v3.8.0
MongoDB_v3.2.22
pip_v19.3.1
windows Pycharm-2019.2.3企业版(社区版不支持远程连接linux开发),需激活使用
系统自带Python2.7.5不做处理,尝试过pyenv安装3.8,但是到安装scrapy的时候报错不断,最终又卸载了pyenv重新手动编译安装。
虚拟机网卡设置
设置见这里:VirtualBox安装Centos7后网卡设置
设置的原则是要保证虚拟机可以分配一个固定的IP,且虚拟机和宿主机能互相访问
配置yum国内镜像源
使用阿里yum源可参考下面这一段
下载wget工具
# yum install -y wget
进入yum源配置文件所在文件夹
# cd /etc/yum.repos.d/
备份本地yum源
# mv CentOS-Base.repo CentOS-Base.repo_bak
获取阿里yum源
# wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
清理yum缓存
# yum clean all
重建缓存
# yum makecache
升级Linux系统
# yum -y update
# netstat -nltp
# 查端口是否占用
# ifconfig
# 查看ip的常用命令
这些命令默认系统没有安装,可执行以下命令行安装
# yum install net-tools
安装第三方依赖
这里需要安装一大坨,是网上搜集+自己实践加上去的,不想折腾就都从了吧
# yum -y groupinstall "Development tools"
# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libxml2-devel libxslt-devel libffi-devel
安装mongodb
添加mongodb国内镜像源
# vim /etc/yum.repos.d/mongodb.repo
粘贴以下内容
[mongodb-org]
name=MongoDB Repository
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el$releasever/
gpgcheck=0
enabled=1
刷新yum缓存
# yum makecache
安装mongodb
# yum -y install mongodb-org
查看mongodb运行状态
# systemctl status mongod.service
查看安装路径
# whereis mongod
修改mongod.conf bindIp参数 或注释掉bindIp这一行
# vim /etc/mongod.conf
重启mongod服务
# /etc/init.d/mongod restart
或 # systemctl restart mongod.service
添加到开机启动
# /sbin/chkconfig mongod on
或 # systemctl enable mongod.service
查看mongod版本
# mongod --version
防火墙开放27017端口
# firewall-cmd --zone=public --add-port=27017/tcp --permanent
# firewall-cmd --reload
# firewall-cmd --zone=public --list-port
客户端连接测试
# mongo 192.168.1.6
安装python3.8
下载Python3.8源码编译安装
# wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
# tar -zxvf Python-3.8.0.tgz
#cd Python-3.8.0.tgz
check依赖,生成Makefile,
# ./configure --prefix='/usr/local/python3'
编译
# make
安装
# make install
做软链
# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
Python3.7后–with-ssl不可用,执行configure的时候 不加–with-ssl也可以安装成功,如果不成功,可以在Python-3.8.0/Modules/Setup文件中去掉以下3行的注释符
# _ssl _ssl.c \
# -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
# -L$(SSL)/lib -lssl -lcrypto
安装scrapy
可以先修改pip源路径,Pipfile文件中[source]下面url属性,比如修改成:url = “https://pypi.tuna.tsinghua.edu.cn/simple”,
或配置~/.pip/pip.conf 文件(这种情况切换用户后就不可用了)
[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn
也可以直接用以下命令执行安装
# pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
# 指定清华大学的pip源更新pip
# pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装scrapy
接下来会安装很多scrapy的依赖包,到安装Twisted的时候会很慢,要耐心等待。看到如下图即安装成功!
安装完成后接下来配置远程开发环境请参考
https://www.cnblogs.com/xiao-apple36/p/8587086.html
推荐使用pipenv、Anaconda或miniconda搭建Scrapy环境。
Anaconda,miniconda 可方便安装多版本python。python的多版本管理、第三方依赖安装都可以一键搞定,省去一堆依赖包的跨境下载。特别是Windows环境,强烈建议。
linux下pipenv的使用参考:
https://blog.csdn.net/haiyanggeng/article/details/82382993
https://blog.csdn.net/u011054333/article/details/82891847
windows下Scrapy环境可参考另一篇miniconda下搭建Scrapy环境的文章:https://blog.csdn.net/haohaifeng002/article/details/102665292
附
CentOS7.7.1908清华大学的镜像路径
https://mirrors.tuna.tsinghua.edu.cn/centos/7.7.1908/isos/x86_64/CentOS-7-x86_64-DVD-1908.iso
oracle VirtualBox
https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe
windows企业版pycharm-2019.2.3
https://download.jetbrains.com/python/pycharm-professional-2019.2.3.exe?_ga=2.181479010.470914607.1571468237-1358446455.1571468237