大数据基础环境搭建
文章平均质量分 69
大数据基础环境搭建
活在风浪里~
不去追逐,永远不会拥有。不往前走,永远原地停留。
展开
-
大数据平台安装
这里会展示安装部署操作的总结;点击"COMPLETE"完成所有安装动作。原创 2024-03-28 14:06:10 · 807 阅读 · 0 评论 -
Flink on kubernets operator的部署方式
【代码】Flink on kubernets operator的部署方式。原创 2023-05-05 17:25:44 · 562 阅读 · 0 评论 -
docker环境安装 部署 Oracle 19c
操作系统:oracle19c 配置说明:主机名: cat /etc/hosts-----先安装单机版本一台:hadoop01本次使用docker 部署 Oracle19c。原创 2023-04-27 09:37:49 · 2354 阅读 · 1 评论 -
k8s1.27.x 最新版本使用kubeadm 的containerd的方式安装
太平洋时间 2023 年 4 月 11 日,Kubernetes 1.27 正式发布。此版本距离上版本发布时隔 4 个月,是 2023 年的第一个版本。新版本中 release 团队跟踪了 60 个 enhancements,比之前版本都要多得多。其中 13 个功能升级为稳定版,29 个已有功能进行优化升级为 Beta,另有 18 个 Alpha 级别的功能,大多数为全新功能。操作系统:主机名: cat /etc/hosts----原创 2023-04-23 09:31:29 · 3245 阅读 · 2 评论 -
大数据平台datasophon 测试部署
DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定、高效的大数据集群服务。原创 2023-04-20 17:56:39 · 3719 阅读 · 0 评论 -
服务器搭建JDK
最全服务器搭建JDK原创 2023-04-07 17:15:32 · 890 阅读 · 1 评论 -
服务器安装、配置、启动Zookeeper集群
(10)由于slave1节点也需要安装 Zookeeper,因此可以先将master节点的 /opt/zookeeper-3.4.10 文件和 /etc/profile 文件拷贝到slave1的相同路径下(拷贝的过程中需要输入yes,然后输入slave1的密码123456)(8)在/opt/zookeeper-3.4.10 目录下新建 data 目录,并切换到 /opt/zookeeper-3.4.10/data 目录下。(14)切换到 /opt/zookeeper-3.4.10/data 目录下。原创 2023-04-07 18:06:32 · 938 阅读 · 1 评论 -
最全服务器安装、配置、启动Hadoop 集群
(6)修改Hadoop的配置文件:需要修改核心配置文件core-site.xml,HDFS配置文件hadoop-env.sh、hdfs-site.xml,YARN配置文件yarn-env.sh、yarn-site.xml,MapReduce配置文件mapred-env.sh、mapred-site.xml,其他配置文件slaves。(8)将master节点的 /opt/hadoop-2.7.6 文件和 /etc/profile 文件拷贝到slave2的相同路径下。(1)切换到 /opt 目录下。原创 2023-04-10 16:29:12 · 773 阅读 · 0 评论 -
服务器最全安装、配置、启动HBase集群
(6)将master节点的 /opt/hbase-1.3.1 文件和 /etc/profile 文件拷贝到slave1的相同路径下。(7)将master节点的 /opt/hbase-1.3.1 文件和 /etc/profile 文件拷贝到slave2的相同路径下。切换到 HBase 的配置文件目录下,这里配置文件的目录为/opt/hbase-1.3.1/conf/切换到hbase的安装目录的bin目录下,即/opt/hbase-1.3.1/bin。执行start-hbase.sh命令,启动hbase。原创 2023-04-10 16:44:25 · 931 阅读 · 0 评论 -
服务器最全安装、配置Hive2.3.0版本
(8)进入/opt/hive-2.3.0/conf目录下,复制hive-default.xml.template文件为hive-site.xml,给hive-env.sh.template文件重命名为hive-env.sh。③、修改hive-site.xml文件的内容:将第75行的值修改为 /opt/hive-2.3.0/tmp/${user.name}(3)解压Hive文件 到当前目录(/opt)下面,使用相对路径或者绝对路径均可,下面的命令使用绝对命令。(4)切换到/opt目录下给Hive文件重命名。原创 2023-04-11 15:38:45 · 300 阅读 · 0 评论 -
服务器最全安装、配置、启动Kafka集群
(10)由于slave2节点也需要安装 kafka,因此可以先将master节点的 /opt/kafka 文件和 /etc/profile 文件拷贝到slave2的相同路径下。(9)由于slave1节点也需要安装 kafka,因此可以先将master节点的 /opt/kafka 文件和 /etc/profile 文件拷贝到slave1的相同路径下。(3)解压 kafka 文件到当前目录(/opt)下面,使用相对路径或者绝对路径均可,下面的命令使用绝对路径。(1)切换到 /opt 目录下。原创 2023-04-11 15:49:05 · 699 阅读 · 0 评论 -
服务器最全安装、配置Scala
(3)解压 scala文件到当前目录(/opt)下面,使用相对路径或者绝对路径均可,下面的命令使用绝对路径。(6)在命令行中输入scala,如果能进入到scala的shell命令行,则scala安装成功。(4)配置环境变量,编辑 /etc/profile 文件,在文件最后添加 scala 路径。(2)官网下载 scala 的安装包,并上传至服务器上。(1)切换到 /opt 目录下。(5)使环境变量生效。(7)退出scala。原创 2023-04-11 15:53:42 · 111 阅读 · 0 评论 -
服务器最全安装、配置、启动Spark集群
(10)由于slave1节点也需要安装 spark,因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave1的相同路径下。(11)由于slave2节点也需要安装 spark,因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave2的相同路径下。(3)解压 spark 文件到当前目录(/opt)下面,使用相对路径或者绝对路径均可,下面的命令使用绝对路径。原创 2023-04-11 16:00:44 · 1926 阅读 · 2 评论