Hadoop
Hadoop学习分享
hager9
这个作者很懒,什么都没留下…
展开
-
本地使用HDFS-API连接远程Hadoop报错
背景 本地使用HDFS-API访问远程Hadoop的时候报错:(如:执行fileSystem.copyFromLocalFile(src, dst)时) org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 n...原创 2020-01-25 19:09:30 · 442 阅读 · 0 评论 -
Hadoop MapReduce Splits 切片源码分析及切片原理
MapReducer编程之数据分片Split源码解读 文章目录数据切片核心源码Debug流程总结 数据切片核心源码 // Create the splits for the job LOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir)); // TODO 数据是如何分片的 核心方法入口 int maps = write...原创 2020-01-17 00:00:54 · 586 阅读 · 0 评论 -
MapReducer编程之WordCount运行流程源码解读
MapReducer编程之WordCount运行流程源码解读 1、数据是如何读取进来的 查看源码Mapper.java 如下: package org.apache.hadoop.mapreduce; import java.io.IOException; import org.apache.hadoop.classification.InterfaceAudience; import org...原创 2020-01-14 23:22:12 · 203 阅读 · 0 评论 -
MapReduce编程之词频统计WordCount
文章目录编写Mapper类编写Reducer类编写Driver类编写FileUtils工具类pom.xml 编写Mapper类 package com.haohaodata.bigdata.hadoop.mapreduce.wc; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; ...原创 2020-01-14 20:45:00 · 698 阅读 · 0 评论 -
junit及HDFS API常用方法
package com.haohaodata.bigdata; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsPermission; import org.apache.hadoop.io.IOUtils; i...原创 2020-01-14 20:26:12 · 161 阅读 · 0 评论 -
MapReudce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the
错误一: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 解决办法: 1、下载winutils.exe 2、创建一个目录 比如 C:\winutils\bin 3、将 winutils.exe 放入上述创建好的目录下 4、设置 HADOOP_HOME=C:\w...原创 2020-01-13 01:13:15 · 109 阅读 · 0 评论