![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
软件安装
文章平均质量分 79
沉默鹰_90
这个作者很懒,什么都没留下…
展开
-
sqoop详细安装
sqoop详细安装原创 2022-07-01 09:22:24 · 3308 阅读 · 0 评论 -
Hbase安装详解
本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3.0hadoop和hbase兼容性1、下载Hbase网址:https://dlcdn.apache.org/hbase/2.4.11/2、上传到node1上并解压到/e..原创 2022-04-10 22:17:28 · 11523 阅读 · 4 评论 -
Spark On Yarn的部署
1、Spark On Yarn的部署Spark On Yarn不需要过多的配置,只需要确保以下两项的正确配置(/export/server/spark/conf/spark-env.sh )HADOOP_CONF_DIRYARN_CONF_DIR[root@node1 conf]# vim spark-env.shHADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/YARN_CONF_DIR=/export/server/ha.原创 2022-03-21 23:17:09 · 3299 阅读 · 0 评论 -
Spark Standalone HA 模式安装及问题处理
前提:确保Zookeeper和HDFS均已经启动1、配置文件修改跳转到配置文件夹:[root@node1 zookeeper-3.4.9]# cd /export/server/spark/conf[root@node1 conf]# vim spark-env.sh注释或删除掉下面的语句(前面加#号)#export SPARK_MASTER_HOST=node1增加以下内容:SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMo原创 2022-03-21 00:17:08 · 2264 阅读 · 0 评论 -
Linux中安装Zookeeper
1、下载Zookeeper网址:Index of /dist/zookeeper并上传下载的文件到Lunix的/export/software/目录下 (演示的是按照zookeeper-3.4.9.tar.gz)2、解压文件[root@node1 software]# tar -zxvf zookeeper-3.4.9.tar.gz -C /export/server/3、修改配置文件 a、进入conf文件夹:[root@node1 conf]#cd /...原创 2022-03-20 20:43:35 · 2227 阅读 · 0 评论 -
Spark StandAlone环境部署
1、集群规划使用三台Linux虚拟机来组成集群环境, 非别是:node1\ node2\ node3node1运行: Spark的Master进程 和 1个Worker进程node2运行: spark的1个worker进程node3运行: spark的1个worker进程在所有机器安装Python(Anaconda):参考:Anaconda On Linux安装_沉默鹰_90的博客-CSDN博客在所有机器配置环境变量:参考(以下文档的3、4、5点;Spark先不要安装,最后从no原创 2022-03-19 01:00:26 · 825 阅读 · 0 评论 -
Spark Local模式安装及测试
1、解压文件解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz)(pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/2、配置软连接(也可以不配置,配置是为了输入这个文件夹是比较方便)(pyspark) [root@node1 server]# ln -s /export/serv.原创 2022-03-18 22:43:03 · 801 阅读 · 0 评论 -
linux中mysql的安装及报错解决
MySQL安装详细步骤,MySQL安装中的问题处理,mysql安装报GPG验证不通过问题处理原创 2022-02-20 17:47:22 · 2960 阅读 · 1 评论