![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Apple_Coco
一以贯之的努力,不得懈怠的人生,每天的微小积累会决定最终结果,这就是答案。
展开
-
Zookeeper-客户端命令行操作
基本命令 实战演练 基本命令 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用ls命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建-s 包含序列-e 临时节点(重启或超时就消失) get path [watch] 获得节点的值 set 设置节点的具体值 stat 查看节点状态 delete 删除节点 rmr 递归删除节点 实战.原创 2020-06-12 21:01:48 · 247 阅读 · 0 评论 -
Zookeeper-分布式安装部署
集群规划 安装和部署 配置参数解读 集群操作 集群规划 在之前部署过分布式 Hadoop 的服务器上继续部署 Zookeeper。完全分布式部署 Hadoop 详情可看 Hadoop-完全分布式运行模式(一)。 在 hadoop02、hadoop03、hadoop04 三个节点上分布式部署 Zookeeper。 安装和部署 解压 Zookeeper 安装包到 /opt/module/ 目录下[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.原创 2020-06-12 20:58:43 · 214 阅读 · 0 评论 -
Zookeeper-本地模式安装部署
环境 安装步骤 修改配置 配置参数解读 操作Zookeeper 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 安装步骤 下载地址:官网首页。这里我用的是 3.4.10 使用 scp 命令或其他软件将安装包拷贝服务器上 解压到指定目录[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 修改配置 将 /opt/module/zookeeper-3.4.原创 2020-06-12 20:55:54 · 227 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(二)
集群基本测试 集群启动 / 停止方式总结 集群基本测试 上传小文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input / 上传大文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz / 查看文件存放的位置[root@hadoop02 subdir0]# pwd /opt/module/hadoop-2.7.2.原创 2020-06-09 22:41:55 · 187 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(一)
环境准备 编写集群分发脚本 SSH 无密登录配置 集群配置 集群规划部署 配置集群 核心配置文件 HDFS 配置文件 YARN 配置文件 MapReduce 配置文件 在集群上分发配置好的 Hadoop 配置文件 测试:集群单点启动 踩坑!!! 群起集群 配置 slaves 同步所有节点 启动集群 环境准备 目前能以学生优惠购买的云服务器有: 腾讯云一台 阿里云一台 华为云一台 百度云一台 学生身份能免费领取的云服务器有: 阿里云抗疫特惠云服务器一台 因为腾讯云和华为云的服务器.原创 2020-06-09 17:03:21 · 320 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(三)
配置历史服务器 配置日志聚集 配置文件说明 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 配置历史服务器 为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下 配置:etc/hadoop/mapred-site.xml。在文件里增加如下配置<!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</na.原创 2020-06-09 16:56:54 · 182 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(二)
配置集群 启动集群 集群操作 上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序 配置集群 配置:etc/hadoop/yarn-env.sh。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144 配置:etc/hadoop/yarn-site.xml<!-- Reducer获取数据的方式 --> <property> <.原创 2020-06-09 16:52:15 · 171 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(一)
配置集群 启动集群 查看集群 操作集群 注意事项 配置集群 配置:etc/hadoop/hadoop-env.sh。修改 JAVA_HOME 路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置:etc/hadoop/core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <valu.原创 2020-06-09 16:48:38 · 199 阅读 · 0 评论 -
Hadoop-安装和配置
环境 安装 Hadoop Hadoop 的目录结构 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 安装 Hadoop 下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下 进入到 Hadoop 安装包目录下cd /opt/software/ 解压安装.原创 2020-06-09 16:45:57 · 202 阅读 · 0 评论