kkb的博客

原创 MapRecduce模板（自动匹配包名，类名）

#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != "")package ${PACKAGE_NAME};#endimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org

原创 hdfs读取数据的整体流程

hdfs读取数据的整体流程 1，客户端节点(代码)获取FileSystem 2，FileSystem去namenode上获取要读取的文件块位置。并且返回给客户端节点 3，获取到文件的所有块信息以后，FSDataInputStream开始准备在不同的块中读取数据。 4，FSDataInputStream内部有一个类，HdfsDataInputStream 保存文件的块信息列表，还负责挑选最近和最新的块在哪里。 FSDataInputStream内部另一个类，Streamer 负责读取操作 5

原创 HDFS-API编程基本操作

常用操作 :1,用代码删除hdfs上的文件2,追加数据到hdfs文件3,获取校验和4,修改权限测试代码:```javaimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileChecksum;import org.a

原创 HDFS命令

原创 org.apache.hadoop.security.AccessControlException: Permission denied: user=k解决办法

org.apache.hadoop.security.AccessControlException: Permission denied: user=k解决办法

原创 超级实用idea快捷键

Ctrl + Y 删除光标所在行 或 删除选中的行 Ctrl + G 在当前文件跳转到指定行处Ctrl + [ 移动光标到当前所在代码的花括号开始位置Ctrl + ] 移动光标到当前所在代码的花括号结束位置Ctrl + F1 在光标所在的错误代码出显示错误信息Ctrl + F3 调转到所选中的词的下一个引用位置Alt + Insert 代码自动生成，如生成对象的 set / get 方法，构造函数，toString() 等Shift + End 选中光标到当前行尾位置Shift + Ho..