大数据
文章平均质量分 87
大数据相关知识
蚂蚁搬运工
这个作者很懒,什么都没留下…
展开
-
Docker 搭建大数据平台
Docker 搭建大数据平台 Hadoop Hive Flink Docker 镜像 镜像配置 系统:centos-7 JAVA:1.8.0_275 SCALA:2.12.13 Hadoop:3.1.4 docker pull cpq2020/hadoop-master 镜像中配置了基本的软件vim,ssh 等服务 配置sshd 安装好sshd之后,我们需要配置ssh无密码连接本地sshd服务,如下命令: ssh-keygen -t rsa #一直按回车键即可 cat id_dsa.p原创 2021-02-02 01:54:34 · 760 阅读 · 0 评论 -
Hadoop&Spark集群搭建
Hadoop&Spark集群搭建基础环境集群规划ZOOKEEPER 集群搭建解压安装包文件到指定路径下修改配置文件配置环境变量HADOOP 高可用集群安装解压安装包文件到 指定路径下修改配置文件修改 hadoo-env.sh修改 mapred-site.xml修改 yarn-site.xml修改 slaves分发安装包到其他机器配置环境变量初始化集群初始化 Zookeeper在 zooke...原创 2020-04-30 04:06:06 · 680 阅读 · 0 评论