Hadoop学习
文章平均质量分 92
dai3226120
这个作者很懒,什么都没留下…
展开
-
基于CentOS7的Hadoop3.2.0+Zookeeper3.5.9+Hive3.1.2+Spark2.3.0完全分布式HA的安装部署(4)Hive on Spark2.3.0安装部署
准备工作hadoop-3.2.0 Scala2.11.8Maven安装在规划安装spark的master、slave1、slave2、slave3上安装maven下载地址https://archive.apache.org/dist/maven/maven-3/解压压缩包tar xzvf apache-maven-3.2.5-bin.tar.gz将文件夹移动至/opt目录:mv apache-maven-3.2.5 /opt/maven-3.2.5配置阿里...原创 2021-08-31 19:11:24 · 630 阅读 · 0 评论 -
基于CentOS7的Hadoop3.2.0+Zookeeper3.5.9+Hive3.1.2+Spark2.3.0完全分布式HA的安装部署(3)Hive3.1.2安装部署
准备工作hadoop-3.2.0 mysql部署规划序号 服务器IP 服务器主机名 安装软件 启动进程 1 192.168.21.131 master hadoop、zookeeper、hive-metastore、spark、hue QuorumPeerMain、ResourceManager、JournalNode、DFSZKFailoverController、NameNode 2 192.168.21.132 sla..原创 2021-08-31 18:10:02 · 369 阅读 · 0 评论 -
基于CentOS7的Hadoop3.2.0+Zookeeper3.5.9+Hive3.1.2+Spark2.3.0完全分布式HA的安装部署(2)hadoop3.2.0安装部署
目录准备工作新建hadoop用户以及用户组,并赋予sudo免密码权限新建hadoop用户将hadoop用户加入到hadoop用户组把hadoop用户赋予root权限,让他可以使用sudo命令hadoop用户配置免密登录目录规划下载、解压配置环境变量配置hadoop配置hadoop运行环境配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置workers配置fair-原创 2021-08-30 19:34:00 · 727 阅读 · 2 评论 -
基于CentOS7的Hadoop3.2.0+Zookeeper3.5.9+Hive3.1.2+Spark2.3.0完全分布式HA的安装部署(1)Zookeeper3.5.9安装部署
目录准备工作部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/opt/install目录,解压缩文件包配置准备工作配置主机名 配置IP和主机名之间映射关系 配置ssh免密码登录 配置防火墙 安装jdk部署规划序号 服务器IP 服务器主机名 安装软件 启动进程 1 192.168.21.131 master hadoop、zookeeper、mysql、hive、spark、hu..原创 2021-08-30 11:46:47 · 334 阅读 · 0 评论