weixin_42166745的博客

大数据04--Flume框架自定义 Interceptor、Source和Sink，Ganlia实时监控

大数据04--Flume框架（负载均衡、聚合，taildir各种sourcetype等）

大数据03--Hive05 文件存储格式，本地模式，空 key 转换和严格模式

大数据03--Hive04 行列转换，窗口函数，Rank

大数据03--Hive03查询、分区表和分桶表

Hive 数据类型、DDL和DML

Hive简介以及相关配置

尚硅谷zookeeper学习

尚硅谷zookeeper基础

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN基础架构RM相当于整个集群资源管理器的老大，而NM是单个节点的老大，AM则是管理Map Task 和Reduce Task资源（向RM申请资源，分配给它两），Container相当于一台小电脑YARN工作机制0，当Driver类的main方法执行到job,waitForCompletion()；时开启YARNRu

HDFS文件快大小不能设置太小（会增加寻址时间，程序一直在找块的开始位置）也不能设置太大（不利于后续并行操作）HDFS块的大小设置主要取决于磁盘的传输速率hadoop fs 具体命令就相当于cilent对其进行操作[xwt@hadoop102 hadoop]$ hdfs dfs -ls /#查看 hdfs创建的文件夹[xwt@hadoop102 ~]$ hadoop fs -mkdir /sanguo#因为我们之前创建的文件夹就在根目录下（前面/）...

HDFS架构概述：1）NameNode(nn):存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。相当于目录2）DataNode(dn):再本地文件系统存储文件块数据，以及块数据的校验和这才是具体的数据3）Secondary NameDode(2nn):每隔一段时间对NameNode元数据备份相当于nn的秘书YARN架构概述：Yet Another Resource Negotiator简称..

大数据解决两个问题：①海量数据存储②海量数据运算（分布式计算）