![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Apple_Coco
一以贯之的努力,不得懈怠的人生,每天的微小积累会决定最终结果,这就是答案。
展开
-
Zookeeper-客户端命令行操作
基本命令实战演练基本命令命令基本语法功能描述help显示所有操作命令ls path [watch]使用ls命令来查看当前znode中所包含的内容ls2 path [watch]查看当前节点数据并能看到更新次数等数据create普通创建-s 包含序列-e 临时节点(重启或超时就消失)get path [watch]获得节点的值set设置节点的具体值stat查看节点状态delete删除节点rmr递归删除节点实战.原创 2020-06-12 21:01:48 · 249 阅读 · 0 评论 -
Zookeeper-分布式安装部署
集群规划安装和部署配置参数解读集群操作集群规划在之前部署过分布式 Hadoop 的服务器上继续部署 Zookeeper。完全分布式部署 Hadoop 详情可看 Hadoop-完全分布式运行模式(一)。在 hadoop02、hadoop03、hadoop04 三个节点上分布式部署 Zookeeper。安装和部署解压 Zookeeper 安装包到 /opt/module/ 目录下[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.原创 2020-06-12 20:58:43 · 214 阅读 · 0 评论 -
Zookeeper-本地模式安装部署
环境安装步骤修改配置配置参数解读操作Zookeeper环境CentOS / 7.3 x86_64 (64bit)Java 1.8.0_144安装步骤下载地址:官网首页。这里我用的是 3.4.10使用 scp 命令或其他软件将安装包拷贝服务器上解压到指定目录[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/修改配置将 /opt/module/zookeeper-3.4.原创 2020-06-12 20:55:54 · 227 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(二)
集群基本测试集群启动 / 停止方式总结集群基本测试上传小文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input /上传大文件到集群[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /查看文件存放的位置[root@hadoop02 subdir0]# pwd/opt/module/hadoop-2.7.2.原创 2020-06-09 22:41:55 · 187 阅读 · 0 评论 -
Hadoop-完全分布式运行模式(一)
环境准备编写集群分发脚本SSH 无密登录配置集群配置集群规划部署配置集群核心配置文件HDFS 配置文件YARN 配置文件MapReduce 配置文件在集群上分发配置好的 Hadoop 配置文件测试:集群单点启动踩坑!!!群起集群配置 slaves同步所有节点启动集群环境准备目前能以学生优惠购买的云服务器有:腾讯云一台阿里云一台华为云一台百度云一台学生身份能免费领取的云服务器有:阿里云抗疫特惠云服务器一台因为腾讯云和华为云的服务器.原创 2020-06-09 17:03:21 · 323 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(三)
配置历史服务器配置日志聚集配置文件说明昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下配置:etc/hadoop/mapred-site.xml。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</na.原创 2020-06-09 16:56:54 · 182 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(二)
配置集群启动集群集群操作上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序配置集群配置:etc/hadoop/yarn-env.sh。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144配置:etc/hadoop/yarn-site.xml<!-- Reducer获取数据的方式 --><property> <.原创 2020-06-09 16:52:15 · 171 阅读 · 0 评论 -
Hadoop-伪分布式运行模式(一)
配置集群启动集群查看集群操作集群注意事项配置集群配置:etc/hadoop/hadoop-env.sh。修改 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144配置:etc/hadoop/core-site.xml<!-- 指定HDFS中NameNode的地址 --><property> <name>fs.defaultFS</name> <valu.原创 2020-06-09 16:48:38 · 199 阅读 · 0 评论 -
Hadoop-安装和配置
环境安装 HadoopHadoop 的目录结构环境CentOS / 7.3 x86_64 (64bit)Java 1.8.0_144安装 Hadoop下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下进入到 Hadoop 安装包目录下cd /opt/software/解压安装.原创 2020-06-09 16:45:57 · 202 阅读 · 0 评论