![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Liu-Lv
我要飞呀飞呀飞呀,飞得更高更远
展开
-
MapReduce在Map和Reduce过程添加依赖包办法
MapReduce在map和reduce阶段添加依赖包办法通常在MapReduce编程过程,大部分都是使用Hadoop jar的方式运行MapReduce程序,但是在开发map或reduce阶段中会需要引入外部的包,Hadoop集群环境并没有这些依赖包。前言比如Reduce数据写入Oracle需要添加Oracle的Driver依赖,还有写入Orc文件等需要orc-mapreduce、o...原创 2018-11-10 19:22:51 · 2351 阅读 · 0 评论 -
MapReduce自定义输出目录和输出文件名
MapReduce自定义输出目录和输出文件名 添加临时的输出目录(非Reduce或Mapper输出文件目录) String outputPath = "/tmp/test/output/"; hdfsApi.loadFileSystem(); if (hdfsApi.exist(outputPath)) { hd...原创 2018-11-15 16:09:07 · 4282 阅读 · 0 评论 -
MapReduce的Driver工具类
通常开发MapReduce都要开发自定义的Driver类,那么下面提供了基础的Driver工具类import com.sinobest.yn.incrupdate.prop.PropertiesUtil;import com.sinobest.yn.incrupdate.security.SecurityUtil;import org.apache.directory.shared.ke...原创 2018-11-15 16:17:18 · 697 阅读 · 0 评论