SometimesNaive_

原创 Hive QL模块TezSessionState分析

原创 Hadoop HA主备切换导致JournalNode epoch增加的函数调用流程

原创 Hadoop HA中EditLogTailer的作用

/** * EditLogTailer represents a thread which periodically reads from edits * journals and applies the transactions contained within to a given * FSNamesystem. */

原创 Hdfs Active Namenode向JournalNode同步editlog流程

FSEditLogActive namenode进程上使用的类，达到条件后执行logSync()向journalnode同步最新的EditLog段调用过程FSEditLog.logSync(long mytxid)->EditLogOutputStream.flush()->EditLogOutputStream.flush(boolean durable)->EditLogOutputStream.flushAndSync(boolean durable)->Jour

原创 Hdfs Namenode Namespace分析

Namenode上主要占用内存的实例org.apache.hadoop.hdfs.server.namenode.INodeFileorg.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguousorg.apache.hadoop.hdfs.server.namenode.INodeDirectoryorg.apache.hadoop.hdfs.server.blockmanagement.BlockInfoIN

原创 NodeManager Recovery特性对Tez任务的影响

NodeManager退出对ResourceManager的影响在直接kill nodemanager进程 或 执行/opt/hadoop/bin/yarn --daemon stop nodemanager，并且没有设置recovery时，resourcemanager上状态改为shutdown。NodeManager部分NodeManager.nodeManagerShutdownHook ->NodeStatusUpdaterImpl.serviceStop() (检测isNM

原创 Shell：按天执行命令的脚本

#!/bin/bashbegin_date='2019-02-24'begin_date_unix=`date -d "$begin_date" +%s`end_date='2019-03-24'end_date_unix=`date -d "$end_date" +%s`while [ "$begin_date_unix" -gt "$end_date_unix" ]do ...

原创 Shell命令行判断数据库中的表是否存在

Shell命令行判断数据库中的表是否存在Shell命令行判断数据库中的表是否存在，调用的sql语句为：select '1' from table_name limit 1;如果表存在，数据返回1，不存在则返回错误信息。...

原创 通过反射来实现List转为JSON

import net.sf.json.JSONArray;import net.sf.json.JSONObject;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.Iterator;i

原创 Axis2 服务器未能识别 HTTP 头 SOAPAction 的值 的解决办法

公司的WebService服务端使用.NET生成，客户端需要使用Java来写，客户端代码如下：import org.apache.axiom.om.OMAbstractFactory;import org.apache.axiom.om.OMElement;import org.apache.axiom.om.OMFactory;import org.apache.axiom.om.OMNam