qq_20004115的博客

第一阶段：NameNode启动（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode记录操作日志，更新滚动日志。（4）NameNode在内存中对数据进行增删改。第二阶段：Secondary NameNode工作 （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结...

1.客户端Client提交Job向ResourceManager申请Job_id2.ResourceManager返回Job_id和HDFS上资源的存储地址3.Cli

/usr/local/src/bigdata/hive-3.1.2/binhive --service metastorehive --service hiveserver2nohup hive --service metastore >> ~/metastore.log 2>&1 &nohup bin/hive --service metastore &nohup hive --service hiveserver2 &nohup.

## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under t.

在 Kafka客户端，会有缓冲池的机制Kafka客户端发送的消息不会立马持久化到磁盘当中。而是会放到一个Batch中当Batch填满之后，才会持久化到磁盘中当遇到高并发的时候，所有的Batch空间瞬间被填满，还没持久化，就会触发JVM GCKafka的处理策略是创建了个缓冲池 放了很多块内存空间，如果你需要新的 Batch 了，就可以直接从这个缓冲池拿走内存空间就 ok 了？然后如果 Batch 发送出去了之后，再把内存空间收回来就好了这种设计类似于Java中线程池。核心思想一空间换时间。.

<!-- 指定HDFS中NameNode的地址 --><property> <name>fs.defaultFS</name> <value>hdfs://hadoop100:9000</value></property><!-- 指定Hadoop运行时产生文件的存储目录 --><property> <name>hadoop.tmp.dir</na...