CentOS7 安装python3.7.8并运行爬虫程序
1. 查看默认的python2.7的安装目录
三个显示结果中最后一个是python2.7,实际上这几个文件之间是存在软链接的依赖关系,类似于windows中的超链接。
我们可以看到,python指向的是python2,python2指向的是python2.7,因此我们可以装个python3.7.8,然后将python指向python3.7.8,然后python2指向python2.7,那么两个版本的python就能共存了。
2. 下载相关依赖包
在之前学习过程中知道python创始人是基于C语言编写的解释器,所以我们安装的时候需要对下载的包先进行编译,才能安装。但是centOS7中有些依赖是没有的,所以我们需要先使用yum命令进行安装。
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
我们要安装版本3.7.8,首先要把刚才显示的三个python文件中的第一个python给备份一下(不保留源文件,仅保留备份文件就可以)
[root@master bin] mv python python.bak
python文件变成了python.bak文件,让它不生效。
3. 下载python包
官方网址:https://www.python.org/ftp/python/
找到python3.7.8版本,不要在windows中下载
将url进行一个拼接:https://www.python.org/ftp/python/3.7.8/Python-3.7.8.tgz
切换目录,创建下载包的位置文件夹
[root@master bin]# cd /usr/local/soft/
[root@master soft]# mkdir python378
[root@master soft]# cd python378/
[root@master python378]# pwd
/usr/local/soft/python378
进入/usr/local/soft/python378目录进行下载
wget https://www.python.org/ftp/python/3.7.8/Python-3.7.8.tgz
[root@master python378]# tar -zxvf Python-3.7.8.tgz
cd 进入到解压后的目录中
指定python的安装目录,这样的话,里面的一些bin目录、lib目录就都会存放在这个目录下面。如果不指定这个安装目录的话,最后python的安装文件将分散到linux的默认目录,不在一块。我们指定安装目录,以后卸载的话直接删除目录就可以干净卸载了。
[root@master Python-3.7.8]# ./configure --prefix=/usr/local/soft/python378-install-dir
指定好后,当前目录下,进行编译
[root@master Python-3.7.8]# make
编译好之后进行安装,安装的位置为我们指定的位置:/usr/local/soft/python378-install-dir
[root@master Python-3.7.8]# make install
执行完后我们指定的安装目录就有了
切换回/usr/bin目录,创建软链接
ln -s /usr/local/soft/python378-install-dir/bin/python3 /usr/bin/python
查看python版本为3.7.8即可。
安装pip
前提:因为我们将python的软链接改为了python3.7.8,而系统内部等像yum还是依赖python2.7的,所以我们需要改两个文件让yum依然用原来的2.7版本
a. /usr/bin/yum
b. /usr/libexec/urlgrabber-ext-down
将上面两个文件第一行进行修改:
#!/usr/bin/python-------> #!/usr/bin/python2.7
先下载epel扩展源·
yum -y install epel-release
安装pip
yum install -y python3-pip
配置下阿里镜像源加速
/root/.pip/pip.conf(手动创建.pip目录,pip.conf文件)
添加以下内容:
[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
创建软链接
ln /usr/local/soft/python378-install-dir/bin/pip3 /usr/bin/pip
完成
二、centOS7中使用selenium模块进行自动化爬虫
1. 安装chrome
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
2. 安装一些依赖的库
yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts
3. 安装 chromedriver
wget http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip
4. 将下载的文件解压,放在如下位置
[root@master soft]# unzip chromedriver_linux64.zip
[root@master soft]# mv chromedriver /usr/bin/
————————————————
版权声明:本文为CSDN博主「不会编程的小小怪」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/m0_54357806/article/details/128661099