hadoop脚本
gdmzlhj1
这个作者很懒,什么都没留下…
展开
-
hadoop 读流程和写流程
hadoop HDFD读流程hadoop HDFD写流程package com.lhj.hadoop;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration;impo原创 2016-03-02 17:28:14 · 776 阅读 · 0 评论 -
Hadoop WorldCount程序
Hadoop WorldCount程序--aaa.txthello world hadoophello lhj hadoopgood luck to lhjnice to me lhj--Mapperimport java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.原创 2016-03-02 17:45:45 · 486 阅读 · 0 评论 -
Hadoop 自定义排序,自定义分区,自定义分组
Hadoop中如何自定义排序,自定义分区,自定义分组。--需求:1.计算在1949-1955年,每年温度最高的时间2.计算在1949-1955年,每年温度最高前十天--思路:1.按照年份升序,同时每一年中温度降序排序2.按照年份分组,每一年对应一个reduce任务mapper输出,key为封装对象。--目的:自定义排序自定义分区自定义分组--输入数据1949-1原创 2016-03-02 17:58:50 · 1880 阅读 · 0 评论 -
java jdbc连接hive2
--java 连接hive2导入jar包(hive和hadoop的)D:\download\download\apache-hive-1.2.1-bin\apache-hive-1.2.1-bin\libD:\download\download\hadoop-2.7.1\share\hadoop\commonD:\download\download\hadoop-2.7.1\share\原创 2016-03-02 20:56:43 · 4492 阅读 · 0 评论 -
java 连接hbase
电信详单,查询某个号码,某个月的通话清单,包括通话号码,通话类型,通话时间等信息,如何设计?表名:t_cdrrowkey设置:号码+时间一个列族:cf1字段:dest(对方号码),type(通话类型),time(通话时间)package com.lhj.hbase;import org.apache.hadoop.conf.Configuration;import org.ap原创 2016-03-02 21:19:53 · 1672 阅读 · 0 评论