大数据
TomAndersen
新目标:喜欢上读书
展开
-
YARN之配置Timeline服务
前言hadoop:2.7.7Timeline Service 官方文档简介Timeline Server基于YARN运行,能够存储和检索应用程序的当前和历史信息,其主要有两个职责:1)存储应用程序的特定信息收集和检索指定应用程序或者框架的某些信息。例如,Hadoop的MR框架会产生像是Map task数量、Reduce task数量、Counter等信息,应用开发人员可以通过TimelineClient,在Application Master或者Container中将特定的信息发送到Tim原创 2020-06-08 11:39:25 · 5942 阅读 · 0 评论 -
Kafka之入门级安装部署
1. 下载Kafka安装包Apache所有项目历史版本镜像地址Apache Kafka下载地址2. 解压到指定路径下本次安装的Kafka为2.1.1版本,注意:压缩包前面的版本号为Scala版本号,而后面的才是Kafka版本号tar -xzvf kafka_2.11-2.1.1.tgz -C /opt/module/3. 配置环境变量通过修改/etc/profile文件设置K...原创 2020-03-15 08:01:13 · 214 阅读 · 0 评论 -
Kafka之命令行的基本操作
kafka版本:2.11-2.1.1原创 2020-03-15 08:00:04 · 792 阅读 · 0 评论 -
Hadoop之配置历史服务器并开启日志聚集
Hadoop之配置历史服务器并开启日志聚集1. 前言Hadoop中设置任务历史服务器并开启日志聚集的必要性:一般情况下在YARN的Web UI中只能查看本次YARN运行期间执行的Application的首个Container的运行日志,即ApplicationMaster的运行日志(MR任务一般是分成多个task通过多个Container分别执行,这些Container分布在集群的任意主机上...原创 2020-02-26 22:24:56 · 2680 阅读 · 1 评论 -
Zookeeper分布式安装配置过程
分布式Zookeeper安装配置过程前言集群主机:hadoop101、hadoop102、hadoop103操作系统:CentOS 7Zookeeper版本:3.4.14JDK版本:1.8.0_221所有配置操作都必须在同一用户下1. 下载Zookeeper在Zookeeper官网提供的镜像网站上下载合适版本,本次下载的版本是3.4.142. 安装Z...原创 2020-02-20 16:58:34 · 457 阅读 · 0 评论 -
Zookeeper中stat结构体参数介绍
stat结构体示例[zk: localhost:2181(CONNECTED) 1] stat /cZxid = 0x0ctime = Thu Jan 01 08:00:00 CST 1970mZxid = 0x0mtime = Thu Jan 01 08:00:00 CST 1970pZxid = 0x300000002cversion = 0dataVersion = 0ac...翻译 2020-02-20 11:45:29 · 843 阅读 · 0 评论 -
Zookeeper中日志文件种类
日志种类Zookeeper在运行期间主要输出三类文件:快照(snapshot)、事务日志(transaction log)、运行日志。其中snapshot存放于dataDir中,事务日志在未设置dataLogDir参数时默认与snapshot存放路径相同,运行日志zookeeper.out默认存放在启动脚本的当前路径下snapshot是zookeeper节点存储的数据的永久备份,而事务日志t...原创 2020-02-20 10:45:46 · 1098 阅读 · 0 评论