环境安装
amingo_ss
10软件开发工作经验,曾就职于神州数码,中国通信服务,高校兼职讲师。参与交付中国移动,中国联通和中国电信运营支撑系统项目,以及10几个海外国家电信系统开发和交付,对spring生态和hadoop大数据生态技术有深刻理解。
展开
-
YARN-HA高可用环境搭建
YARN-HA高可用环境搭建主要内容YARN-HA高可用环境搭建1.YARN HA实现原理2.YARN HA高可用集群搭建2.1.配置YARN(yarn-site.xml)2.2 启动YARN HA高可用集群2.3.模拟ResourceManager宕机,手动杀死进程1.YARN HA实现原理*启动两个ResourceManager后分别向Zookeeper注册,通过Zookeeper管理他们的状态,一旦状态为Active的ResourceManager无法正常提供服务,Zookeeper将会立即将原创 2020-05-16 13:30:17 · 616 阅读 · 0 评论 -
HDFS HA 高可用集群搭建
HDFS HA NameNode高可用集群搭建主要内容HDFS HA NameNode高可用集群搭建1.安装并配置Zookeeper集群2.配置HDFS(hdfs-site.xml)3.配置Hadoop公共属性(core-site.xml)4.启动HDFS HA高可用集群5.测试NameNode HA自动切换6.常见问题1.安装并配置Zookeeper集群参考:https://blog.csdn.net/amingo_ss/article/details/1043265932.配置HDFS(hdfs原创 2020-05-16 12:09:29 · 730 阅读 · 0 评论 -
Ubuntu16.04下Hive的本地安装与配置
Ubuntu16.04下Hive的本地安装与配置1.系统环境os : Ubuntu 16.04 LTS 64bitjdk : 1.8.0_161Hive:hive-2.3.6Mysql:Hive 下载地址:https://mirror.bit.edu.cn/apache/hive/2.安装步骤2.1安装mysqlmysql在Hive环境中用于记录元数据。记录的元数据包括:表名与结...原创 2020-04-26 01:30:56 · 928 阅读 · 1 评论 -
Ubuntu16.04下Hbase集群模式的本地安装与配置
Ubuntu16.04下Hbase集群模式的本地安装与配置1.系统环境os : Ubuntu 16.04 LTS 64bitjdk : 1.8.0_161hbase:hbase-1.2.6Zookeeper:apache-zookeeper-3.5.6Hbase 下载地址:http://archive.apache.org/dist/hbase/1.2.6/2.安装步骤2.1修改...原创 2020-03-15 22:24:27 · 314 阅读 · 0 评论 -
Ubuntu16.04下Zookeeper集群模式的本地安装与配置
Ubuntu16.04下Zookeeper集群模式的本地安装与配置1.安装环境:os : Ubuntu 16.04 LTS 64bitjdk : 1.8.0_161zookeeper:apache-zookeeper-3.5.6zookeeper有单机、伪集群、集群三种部署方式。单机:一个服务器伪集群:在一个服务器部署多个zookeeper集群:多个服务器,一个服务器上部署一个zo...原创 2020-02-15 13:11:30 · 406 阅读 · 0 评论 -
Ubuntu16.04下Hadoop的本地安装与配置
Ubuntu16.04下Hadoop的本地安装与配置一、系统环境os : Ubuntu 16.04 LTS 64bitjdk : 1.8.0_161hadoop : 2.6.4部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为自己的用户名。准备工具:VMware Workstation:创建虚拟机FileZilla :FTP工具SecureCRT :SSH远程...原创 2020-02-11 17:44:45 · 1428 阅读 · 0 评论