CentOS 7安装python3及Scrapy(linux环境下scrapy爬虫学习环境配置)

最新推荐文章于 2023-09-10 15:40:40 发布
最新推荐文章于 2023-09-10 15:40:40 发布
阅读量850 收藏 3
点赞数
分类专栏： python 文章标签： python linux scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IFuyunhao/article/details/86491406
版权
本文介绍了如何在CentOS 7系统中安装Python3及其依赖，详细步骤包括下载Python3.6.2，解压并编译安装，创建软链到/usr/bin目录，检查Python和pip版本。接着通过pip安装Scrapy，解决可能出现的ssl错误，确保安装成功后将其添加到.bashrc文件，并验证安装效果。
摘要由CSDN通过智能技术生成

1、安装依赖包

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

 

2、根据自己需求下载不同版本的Python3，我下载的是Python3.6.2

wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz

3、解压压缩包，进入该目录，安装Python3

tar -xvJf  Python-3.6.2.tar.xz

 4、进行Python3的编译安装（其中=后为安装的路径）

./configure --prefix=/usr/python3
make
make install

5、添加软链到执行目录下/usr/bin

ln -s /usr/python3/bin/python3.6 /usr/bin/python3
ln -s /usr/python3/bin/pip3 /usr/bin/pip3

6、查看python和pip的版本

python3 --version
pip3 --version

安装scrapy

1、pip安装<

最低0.47元/天 解锁文章
小不谋则乱
关注
专栏目录
Centos7 Python3下安装scrapy的详细步骤
09-20
在CentOS7上安装Python3和Scrapy框架的详细步骤是一项必要的任务，特别是对于那些希望在该操作系统上进行网络爬虫开发的用户。以下是一份详细的安装指南： 首先，确保你的系统已经更新到最新版本，并且安装了必要的...
sqoop安装配置以及报错修改
XX__X____的博客
08-10 5249
sqoop安装配置 开篇碎碎念： 此文章写于我做项目途中，从hive将数据传递给mysql数据库需要安装sqoop，途中踩了很多坑，就把这些记录下来。 安装sqoop之前，java和hadoop的安装都是必须的，以及hive和mysql的安装我写成了另一篇文章，可以去我空间找。相关下载网盘链接为了方便我也放在了里面（顺便一提阿里云盘真香）。 下面进入正题。 文章目录sqoop安装配置1. 验证java安装2. 验证Hadoop安装3. 安装sqoop4. 配置.bsahrc5. 配置sqoop6. 下载配置
centos7快速安全部署爬虫运行环境
weixin_42156283的博客
02-18 932
文章目录centos快速部署爬虫所需的环境, 避免走弯路! 以下所涉及其他博客的链接, 都是作者亲身测试有效的, 特此汇总一、数据盘挂载二、python环境三、mongodb安装四、redis安装五、scrapyd六、gerapy七、oss centos快速部署爬虫所需的环境, 避免走弯路! 以下所涉及其他博客的链接, 都是作者亲身测试有效的, 特此汇总 一、数据盘挂载 Linux 系统挂载数据盘 # 注意事项 echo '/dev/vdb1 /mnt ext4 defaults 0 0'
python的下载及环境搭建
最新发布
ZJ_ikun的博客
09-10 298
进人 Python官网下载界面(https://www.Python.org/downloads/）单击 Downloads进人 Python官网下载界面(ttps://www.Python.org/downloads/选项,可以查看最新的 Python 版本(当前最新稳定版本为 3.8.5),通过下方的 View the fulllist of downloads 链接可以查看历史版本。(2)在命令行中输人 Python,将会显示本机上 Python 的版本,并进 Python 交百命令环境。
万字【Python基础】保姆式教学，零基础快速入门Python
热门推荐
龙叔的博客
09-14 18万+
Python基础入门、函数、列表、元组、字典、字符串等等
matplot 安装
chengzheng_hit的专栏
01-30 1246
Installing There are many different ways to install matplotlib, and the best way depends on what operating system you are using, what you already have installed, and how you want to use it. To avoi
CentOS7下安装Scrapy步骤详细介绍
09-15
本篇文章将详细讲解如何在CentOS7环境下安装Scrapy。 首先，确保你的系统是最新的，这是任何安装过程的基础。打开终端并输入以下命令来更新系统的yum仓库： ```bash [root@localhost ~]# yum -y update ``` 接...
Centos 7 中 scrapy 成功安装步骤
坏海豹的代码情结
05-23 375
我使用的是centos 7最小化的环境。 开始在安装scrapy时，遇到了各种问题，其中网上讨论最多的就是编译错误的问题了。 类似上面这种错误。我也参考过网上的各种解决方案，都无法解决我的问题。 最后发现，问题其实是没有注意python的版本。我整理了一些步骤，按照这个步骤，可以正确安装scrapy。 以下操作请在root账户下进行。 1、首先安装python3：因为Centos中默...
python解包dump,tcpdump抓包及tshark解包方法介绍
weixin_42398141的博客
03-26 1312
tshark是wireshark的命令行工具，通过shell命令抓取、解析报文。tcpdump是Linux系统下的抓包工具。wireshark和tcpdump都共同使用 libpcap作为其底层抓包的库，tshark也可以抓取报文。有时候需要在linux系统或者ARM开发板中进行抓包，使用tcpdump抓包更加方便，在这种场景下，一般使用tcpdump进行抓包，然后在Windows中使用wires...
自动化平台测试开发-Python测试开发实战(1).pdf
10-16
适合读者 绝大多数适用的读者 . 所有软件测试从业人员，包括测试团队 leader。 . 有一定开发语言基础的测试人员。 少部分适用的读者 . 软件测试专业的在校大学生。 . 软件技术、移动互联网相关人员，包括开发人员，研发团队 leader 等。 . 其他任何对自动化平台测试开发感兴趣的人。
Linux离线安装Python
chudu的专栏
09-06 779
【代码】Linux离线安装Python。
Python基础_闭包和迭代器
flinjin的博客
03-06 1万+
闭包的概念： 闭包就是内层函数，对外层函数（非全局）的变量的引用，称之为闭包 可以使用__closure__来检测函数是否是闭包，使用函数名.__closure__返回是true就是闭包。 作用： 可以让一个局部变量常驻内存。 使变量更加安全。 def f1(): name = "华山大弟子" #常驻内存，以后什么时候调用函数使用变量的时候，都可以用。 def f2(): ...
网页版 Python 图片转字符画
lwebapp.com
07-14 2699
最近发现一个好玩的 Python 玩法，用 Python 将图片转为字符画，大多数都是本地程序，因为之前小编搭建过一个在线版的 Python，于是尝试了使用在线版的 Python 实现了图片转字符画。
centos7 python3.7 scrapy安装
风口上的猪博客
01-06 442
centos7 python3.7 scrapy安装。
Centos7搭建Scrapy爬虫环境
留歌__36的博客
04-25 4725
写在前面因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习…一.替换pyhton2版本为python31.我这里的云服务器是Centos7系统,默认安装的是python2.7的版本,但是,我个人也是不喜欢老的东西,而且好像python2的版本到2
centos7安装scrapy
yungeisme的博客
06-14 573
使用python的pip安装类似插件,第三方库非常容易，但centos7并未安装pip。 检查python版本 [ ~]$ python -V Python 2.7.5 版本并不是最新的，因为linux一般安装稳定版，版本达到2.7就满足要求了。如果想要安装最新的，到官网找到下载地址，使用wget命令下载再解压。 2.使用yum安装pip [ ~]$ sudo yum -y i
Centos7 安装Python3和scrapy（正确安装姿势）
徐代龙的技术专栏
03-13 4424
苦逼的前夜 昨晚很辛苦，搞到晚上快两点，最后还是没有把python3下的scrapy框架安装起来，后面还把yum这玩意给弄坏了，一直找不到命令。今天早上又自己弄了快一上午，又求助@函兮，弄了快一个中午，最后无奈还是没有弄好yum跟python这玩意，最后还是放弃治疗了。真的是什么招，什么损招都用完了，最后也没折了，直接报告老大去，然后把阿里云的centos7实例重新磁盘回滚了一下。 正确的...
Linux-Ubuntu16.04下Python3.5安装pip3以及scrapy、numpy、itchat
烟雨博客
03-23 7万+
Python3.x库安装
VirtualBox CentOS7.7 搭建Python3.8 Scrapy开发环境图文教程
本教程详细阐述了如何在VirtualBox虚拟环境中使用CentOS 7.7.1908操作系统和Python 3.8版本搭建Scrapy爬虫开发环境。通过图文教程的方式，适合初学者参考。 首先，我们需要安装VirtualBox v6.0.14，这是一款虚拟机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值