2015年08月_ukakasu

10月 09月 08月 07月 06月

原创一道hadoop面试题

使用Hive或者自定义MR实现如下逻辑product_no lac_id moment start_time user_id county_id staytime city_id13429100031 22554 8 2013-03-11 08:55:19.151754088 571 571 28

2015-08-23 16:51:38 487

原创一道hive面试题

该面试题的原文地址：http://blog.csdn.net/zolalad/article/details/10819749#解决思路：根据用户ID算出访问次数，然后根据访问次数算出fromurl和tourl难点主要为计算用户访问次数，原文的计算方法看着有点复杂，于是就简单写了一个import java.util.HashMap;import org.apache

2015-08-22 16:55:14 1929

原创 Hbase的java api操作小结

最后打印结果的代码 for (Result result : scanner) { if (result.raw().length > 0) { for (KeyValue kv : result.raw()) { System.out.println(new String(kv.getQualifier()) + "\t" + n

2015-08-12 22:27:25 466

原创 Hbase结合MapReduce批量导入数据

public class HbaseMR { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("hbase.zookeeper.quorum", "192.168.1.182"); conf.set(TableO

2015-08-12 22:19:07 441

原创 JDBC操作hive

public class HiveJdbcClient { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; private static String url = "jdbc:hive2://192.168.1.182:10000/my"; private static String user =

2015-08-11 21:51:42 527

原创 python实现单词计数的mapreduce

map函数import sysfor line in sys.stdin: line = line.strip() words = line.split() for word in words : print "%s\t%s" % (word , 1)reduce函数import syscurrent_word=Nonecurrent_

2015-08-08 07:53:53 2361

原创 MapReduce中自定义文件输出名

MR的输出结果默认为part-r-00000，我们可自定义易识别的名字替代part，如score-r-00000 job.setOutputFormatClass(MyOut.class); MyOut.setOutputName(job, "score");//自定义输出名 job.waitForCompletion(true); //自定义My

2015-08-05 19:50:55 5318 2

原创 MapReduce中设置文件过滤器代码

FileInputFormat.setInputPathFilter(job, MyFilter.class);//在主函数中设置过滤器 //输入路径要以/*通配符结尾 //自定义过滤器 private static class MyFilter implements PathFilter{ public boolean accept(Path path) { return

2015-08-05 19:37:03 456

原创 hdfs小文件的解决方案

小文件的解决方案——应用程序自己控制package small;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxE

2015-08-02 11:19:15 573

原创 java的api操作HDFS实现递归打印目录并实现在Linux下的显示效果

public class FSTest { public static FileSystem fileSystem; public static void main(String[] args) throws Exception { fileSystem = FileSystem.newInstance(new URI("hdfs://192.168.1.182:9000"),n

2015-08-01 21:10:10 1165

binutils-2.23.52.0.1-12.el7.x86_64 compat-libcap1-1.10-3.el7.x86_64 compat-libstdc++-33-3.2.3-71.el7.i686 compat-libstdc++-33-3.2.3-71.el7.x86_64 gcc-4.8.2-3.el7.x86_64 gcc-c++-4.8.2-3.el7.x86_64 glibc-2.17-36.el7.i686 glibc-2.17-36.el7.x86_64 glibc-devel-2.17-36.el7.i686 glibc-devel-2.17-36.el7.x86_64 ksh

2018-06-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

ukakasu的博客