m0_46168848的博客

我们在执行start-dfs.sh的时候，默认启动顺序是namenode => datanode => journalnode => zkfc，如果journalnode和namenode不在一台机器启动的话，很容易因为网络延迟问题导致NN无法连接JN，无法实现选举，最后导致刚刚启动的namenode会突然挂掉一个主的，留下一个standy的，虽然有NN启动时有重试机制等待JN的启动，但是由于重试次数限制，可能网络情况不好，导致重试次数用完了，也没有启动成功。先启动journalnode，再启动dfs。

Container是以什么形式运行的？是单独的JVM进程吗？是的，每一个Container就是一个单独的JVM进程。YARN的vcore和本机的CPU核数关系？没关系。默认都是手动在yarn-default.xml中配置的，默认每个NodeManager是8个vcore，所有的NodeManager上的vcore加在一起就是整个YARN所有的vcore。每个Container能够使用的物理内存和虚拟内存是多少？

OutputFormat是一个用于描述MapReduce作业的输出格式和规范的抽象类，位于org.apache.Hadoop.mapreduce.OutputFormat. Mapreduce框架依靠文件输出格式完成输出规范检查（如检查目录是否存在），并为文件输出格式提供作业结果数据输出的功能，即提供RecordWriter的实现，输出文件被存储在文件系统FileSystem中。TextOutputFormat类 是默认的输出格式，它把每条记录写成文本行。

Hadoop一. 引言1.1 什么是大数据大数据:(Big Data):数据量级很大的应用处理。TB级 ，日数据增长GB级K -- M---- G ---- T ----PB ---- EB ---ZB 1024通过对海量数据进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。1.2 大数据特点4V 是大数据典型的特点具体指的是:# 1.Volume (大量) 数据量很大，至少是TB或者日均增加GB级# 2.Variety (多样) a.结构化数据 :

yarn常用命令：1.yarn application 查看任务（1）列出所有Applicationyarn application -list（2）根据 Application 状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）2.yarn logs 查看日志（1）查看Application 日志yarn logs

MapReduce的经典入门案例WordCount项目Java实现pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache