大数据环境
大锅小米
stay hungay stay foolish
展开
-
hadoop3.1.3集群搭建(ha+yarn)
初始化集群环境请参考hadoop 集群环境准备zk集群请参考 zk集群原创 2020-09-16 10:13:21 · 740 阅读 · 0 评论 -
免密登录
配置三台机器免密登录 ,网上有很多种方式来配置,我选择了其中最简单的那种。命令依次为生成私钥并配置禹本纪的免密登录:ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa拷贝私钥 ssh-copy-id 用户名@主机名查看免秘是否成功 ssh 主机名...原创 2020-09-08 14:14:37 · 177 阅读 · 0 评论 -
三台机器zookeeper的集群环境搭建
配置主机名称到 IP 地址映射配置省略jdk环境省略修改 ZooKeeper 配置文件cd /export/softwarestar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/cd /export/servers/zookeeper-3.4.9/conf/cp zoo_sample.cfg zoo.cfgmkdir -p /export/servers/zookeeper-3.4.9/zkdatas/vim zoo.cfgdataDir原创 2020-09-07 08:50:20 · 470 阅读 · 0 评论 -
cdh 6.3.2引用maven
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <repositories> <repository> .原创 2020-08-03 09:42:22 · 851 阅读 · 0 评论 -
hadoop 伪集群搭建完整版
集群规划:(安装集群之前,先规划下集群,考虑配置,ip,内存硬盘,cpu)主机名 IP 安装的软件 运行的进程 hadoopSpark01 192.168.1.25 jdk、hadoop NameNode、DFSZKFailoverController(zkfc),ResourceManager,JournalNode、QuorumPeerMain、Da...原创 2019-11-10 00:35:44 · 213 阅读 · 0 评论 -
大数据集群环境 hadoop集群环境准备
Centos7 系统可以通过链接下载Centos下载地址。首先需要准备的软件都有:Centos系统、SecureCRT 8.5、VMware Workstation Pro、jdk-8u172-linux-x64.tar.gz基本上这个软件就是今天的战场。首先安装VMware Workstation 并配置激活SecureCRT,关于这两个软件的安装可以查看这个教程Secur...原创 2019-09-26 23:19:23 · 535 阅读 · 4 评论