虚拟机部署具体步骤

虚拟机部署的详细步骤,按照流程一步一步来,在不打错命令的情况下,应该没啥问题。
手残党可以完成一部分就拍一下快照 ,方便回滚

首先创建好新的虚拟机,
进入opt文件夹
导入python安装包3.6.2
项目文件夹,删除里面的__pycharm的配置文件

1、导入依赖包
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
2、解压python包
tar -Jxvf Python-3.6.2.tar.xz
3、切入安装路径,出箭头>回车
cd Python-3.6.2
./configure prefix=/usr/local/python3
4、编译安装
make && make install
5、创建软链接–》快捷方式
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

(可以先不弄)
以后我们运行python3的脚本需要编程 python3 *.py
安装python的扩展包
yum install python-devel

6、安装python安装包
pymysql
pillow
django2.1.5
django-ckeditor 富文本编辑器
pip3 install pymysql && pip3 install pillow && pip3 install dja

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是详细的虚拟机部署Spark的步骤: 1. 下载并安装虚拟机软件,如VirtualBox或VMware Workstation等。 2. 下载一个Linux操作系统的镜像文件,如Ubuntu。可以从官方网站下载,也可以从第三方网站下载。 3. 在虚拟机软件中创建一个新的虚拟机具体步骤如下: - 打开虚拟机软件,点击“新建虚拟机”或类似的按钮。 - 根据向导指引,选择Linux操作系统和版本。 - 设置虚拟机的名称、内存大小、硬盘大小等参数。 - 选择刚才下载的Linux镜像文件作为虚拟机的安装介质。 - 安装Linux操作系统,确保网络设置正确并安装必要的软件,如Java和SSH。具体步骤可以参考Linux操作系统的安装指南。 4. 下载Spark的二进制文件。可以从官方网站下载,也可以从第三方网站下载。 5. 将Spark的二进制文件上传到虚拟机中。可以使用scp命令或sftp命令将文件上传到虚拟机中。 6. 解压Spark的二进制文件。可以使用tar命令或zip命令解压文件。 ``` tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz ``` 7. 配置Spark的环境变量。可以在.bashrc文件中添加以下内容: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ export PATH=$PATH:$JAVA_HOME/bin export SPARK_HOME=/path/to/spark export PATH=$PATH:$SPARK_HOME/bin ``` 8. 编Spark的配置文件。可以在$SPARK_HOME/conf目录下创建spark-defaults.conf和spark-env.sh文件。 - spark-defaults.conf文件用于配置Spark的参数。可以添加以下内容: ``` spark.master yarn spark.executor.memory 2g spark.executor.instances 2 ``` - spark-env.sh文件用于配置Spark的环境变量。可以添加以下内容: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ export SPARK_WORKER_MEMORY=2g ``` 9. 启动Spark。可以使用命令行或web界面来提交任务和监控集群状态。 - 启动Spark Master: ``` $SPARK_HOME/sbin/start-master.sh ``` - 启动Spark Worker: ``` $SPARK_HOME/sbin/start-worker.sh spark://<master>:7077 ``` 其中,<master>是Spark Master的地址,可以是IP地址或主机名。 - 提交Spark任务: ``` $SPARK_HOME/bin/spark-submit --class <class> --master <master> <jar> ``` 其中,<class>是Spark任务的主类名,<master>是Spark Master的地址,<jar>是包含任务代码的jar文件。 - 监控Spark集群状态。可以在web界面中查看Spark Master和Spark Worker的状态。在浏览器中输入<master>:8080即可打开Spark的web界面。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值