大数据
文章平均质量分 78
若如初见淡似雪丶
这个作者很懒,什么都没留下…
展开
-
kafka2.7.0集群搭建
1.准备三台已搭好 zookeeper 集群的主机:01,02,03 2.下载 kafka_2.13-2.7.0.tgz : https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.13-2.7.0.tgz 上传到三台服务 3.解压进入01主机 config 目录修改配置文件 server.properties broker.id : 在集群中唯一,要求是正数 log.dirs : kafka数据的存放地址...原创 2021-04-17 10:54:22 · 806 阅读 · 0 评论 -
zookeeper3.6.3集群搭建
1.准备三台主机 01,02,03 2.在01上安装 jdk8,下载解压 jdk-8u221-linux-x64.tar.gz 配置好环境变量 3.下载 zookeeper3.6.3 : https://downloads.apache.org/zookeeper/zookeeper-3.6.3/ 4.解压并进入 tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 5.配置环境变量 (配置好可以发送到其他主机) 6.创建 data...原创 2021-04-17 10:48:52 · 1385 阅读 · 0 评论 -
Spark入门-用Scala编写
1.需要安装 jdk scala有版本要求 2.下载 解压 配置环境变量 scala 测试 1.查看版本 2.进入 scala 计算 1+1 3.spark 配置 1.进入 conf 修改文件 2.编辑该文件 添加配置 SPARK_MASTER_IP : SPARK_WORKER_MEMORY : 工作节点内存大小 4.启动 1.直接执行 start-all.sh 和 hdfs 启动冲突,会启动 hdfs 2.需要进入 spark sbi...原创 2021-04-07 17:55:55 · 925 阅读 · 0 评论