mapreduce
生命不息丶折腾不止
这个作者很懒,什么都没留下…
展开
-
多输入路径MapReduce完整代码详解
代码为完整的Mapreduce代码实现,含有: 1. 分区字段的获取; 2. 多输入路径的获取; 3. 方法:根据指定的日期,和天数,向前推,返回相应的日期集合。 4. 执行jar时,传入参数的获取; 5. 相关执行哪个参数的设置;原创 2017-04-10 11:27:31 · 682 阅读 · 0 评论 -
mapreduce中读取文件并缓存
//输入维表(type=0时直接输入该文件(文件地址是全路径加文件名), type=1时输入该文件夹下的文件,地址只到文件夹,文件夹下面包含多个文件) public static void InputDimensionFile(String path_file, String type, Configuration conf, FileSystem fs) throws Exception {//原创 2017-04-14 14:09:17 · 3120 阅读 · 0 评论