![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
NewDay_
这个作者很懒,什么都没留下…
展开
-
Hadoop之Mapreduce常见错误解决
常见错误及解决方案1)导包容易出错。尤其Text和CombineTextInputFormat。2)Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable.报的错误是类型转换异常。3)java.lang.Exception: java.io.IOException: Illegal partition for13926435656 (4),说明Partition和ReduceTask个数没对上,调整ReduceTask个数。4)原创 2020-11-05 17:32:52 · 707 阅读 · 0 评论 -
Hadoop之MapReduce
MapReduce编程规范Mapper阶段(1)用户自定义的Mapper要继承自己的父类.(2) Mapper的输入数据是KV对的形式(KV的类型可自定义)(3) Mapper中的业务逻辑写在map()方法中(4) Mapper的输出数据是KV对的形式(KV的类型可自定义)(5) map()方法(MapTask进程) 对每一个K,V>调用一次Reducer阶 段(1)用户自定义的Reducer要继承自己的父类(2) Reducer的输入数据类型对应Mapper的输出数据类型,也是K原创 2020-11-05 17:27:29 · 190 阅读 · 0 评论 -
hdfs命令行上传文件报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)
使用 hdfs dfs -put /源文件路径 /目的文件路径报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)解决方案首先将hdfs暂停,建议使用stop-all-sh 停止所有,或者 stop-dfs-sh分布删除主节点 hadoop 文件夹下的 logs 和 tmp 文件夹 rm -r logs 或者 rm -r tmp主节点奴隶节点删除完成之后,进行格式化hadoop hdfs namenode -fo原创 2020-10-06 15:49:22 · 626 阅读 · 0 评论 -
hdfs 文件名修改
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class renameFile { public static void main原创 2020-09-28 19:29:16 · 1482 阅读 · 0 评论 -
hdfs文件上传于文件下载
import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStr原创 2020-09-28 18:24:30 · 197 阅读 · 0 评论 -
hdfs创建文件夹及目录
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path; public class nkdirDemo { public static void m..原创 2020-09-28 17:02:43 · 8118 阅读 · 2 评论 -
hdfs 遍历 / 文件夹
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStat原创 2020-09-28 16:03:26 · 1084 阅读 · 1 评论 -
四种获取FileSystem
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;public class fileSystem { public static void main(String [] args) throws IOExceptio原创 2020-09-28 12:05:02 · 705 阅读 · 0 评论 -
Hadoop通过URL方式下载文件
Hadoop通过URL方式下载文件: 注意如下InputStream inputStream = new URL(“hdfs://Master:9000/user/hadoop/file1.txt”).openStream();//获取文件输入流里面的路径,是你hadoop运行的IP地址以及端口号,端口号参照core-site.xml配置的端口号import java.io.File;import java.io.FileOutputStream;import java.io.InputS原创 2020-09-28 11:23:47 · 997 阅读 · 0 评论