![](https://img-blog.csdnimg.cn/44c8067d92be4e1eb52743573e330fa0.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop
文章平均质量分 55
hadoop技术分享
地球人是我哈
这个作者很懒,什么都没留下…
展开
-
Hbase-Phoneix Implementing class
在使用 hbase + phoneix 抽取索引数据时,执行命令:hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table HBASE_PHONEIX_TEST --index-table HBASE_PHONEIX_TEST_INDEX --output-path ASYNC_IDX_HFILES出现如下报错:org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl原创 2021-07-29 10:25:32 · 189 阅读 · 0 评论 -
HDFS源码之NameNode 启动流程
HDFS源码之NameNode 启动流程1. start-dfs.sh"$HADOOP_PREFIX/sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" \ --hostnames "$NAMENODES" \ --script "$bin/hdfs" start namenode $nameStartOpt2. hadoop-daemons.sh"$bin/slaves.sh" --config $HADOOP_CONF_DIR原创 2020-11-24 15:43:24 · 725 阅读 · 0 评论 -
HDFS源码之MapReduce执行流程
HDFS源码之MapReduce执行流程1. Driver(mp程序启动driver)public static void main(String[] args) throws Exception { // 输入输出路径需要根据自己电脑上实际的输入输出路径设置 args = new String[] { "D:\\git\\study\\BigDataPro\\hadoop\\src\\main\\resources\\input", "D:\\git\\study\\B原创 2020-11-24 15:41:50 · 184 阅读 · 0 评论 -
HDFS源码之MapReduce提交job,split规则
HDFS源码之MapReduce提交job,split规则1. Driver(mp程序启动driver)public static void main(String[] args) throws Exception { // 输入输出路径需要根据自己电脑上实际的输入输出路径设置 args = new String[] { "D:\\git\\study\\BigDataPro\\hadoop\\src\\main\\resources\\input", "D:\\git\原创 2020-11-24 15:41:18 · 269 阅读 · 0 评论 -
HDFS源码之DataNode 启动流程
HDFS源码之DataNode 启动流程1. start-dfs.sh"$HADOOP_PREFIX/sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" \ --hostnames "$NAMENODES" \ --script "$bin/hdfs" start namenode $nameStartOpt2. hadoop-daemons.sh"$bin/slaves.sh" --config $HADOOP_CONF_DIR原创 2020-11-24 15:40:56 · 444 阅读 · 0 评论 -
Avro通过schema写.avro文件
导入依赖<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.9.2</version></dependency>构造scheam{ \"type\...原创 2020-04-09 21:03:03 · 544 阅读 · 0 评论 -
hadoop相关问题报错
SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]hadoop集成kerberos,多半是因为kerberos认证hadoop时,hadoop的配置文件没有被加载或者是加载不正确原创 2020-05-08 20:12:02 · 2072 阅读 · 0 评论