![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
guanhuai123
这个作者很懒,什么都没留下…
展开
-
【java】接口的作用|实例讲解java接口
接口作用:解决java不能多继承,用过接口变相实现多继承。屏蔽实现的不同的差异接口实例现在假如说,java想让oracle和mysql实现自己的数据源和关闭数据源,java只需要做一个接口interface出来。而oracle和mysql自己去实现这个接口即可。ok 下面先上一个组织结构,需要用到工厂模式。总共转载 2014-06-11 16:23:18 · 474 阅读 · 0 评论 -
使用Storm实现实时大数据分析
使用Storm实现实时大数据分析博客分类: Storm 摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了,Storm让大数据分析变得轻松加转载 2015-05-27 18:01:35 · 374 阅读 · 0 评论 -
Hadoop中CombineFileInputFormat详解
在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。所以需要在mapper中将多个文件合成一个split作为输入,CombineFileInputFormat满足我们的需求。CombineFileInputFormat 原理(网上牛人总结):第一转载 2015-03-31 19:49:48 · 567 阅读 · 0 评论 -
Hadoop中MapReduce多种join实现实例分析
Hadoop中MapReduce多种join实现实例分析 一、概述对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作时同样耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapRedu转载 2015-03-23 20:10:15 · 677 阅读 · 0 评论 -
Protobuf java基础
本文档为java编程人员使用protocol buffer提供了一个基本的介绍,通过一个简单的例程进行介绍。通过本文,你可以了解到如下信息:1、在一个.proto文件中定义一个信息格式.2、使用protoc命令进行编译,生成java代码.3、使用Java protocol buffer API进行读写操作.l 定义proto文件以一个地址薄为例,从转载 2015-03-30 14:18:21 · 381 阅读 · 0 评论 -
mapreduce优化
Data MiningMapReduce FeaturesCountersBuilt-in Counters这些counters你在Web UI中,或是job结束后在控制台生成的统计报告中都看得到,根据名字你也能猜到这些counter是什么意思。分为3个Group:Map-Reduce FramewordMap input records,Map ski转载 2015-03-20 20:22:50 · 547 阅读 · 0 评论 -
MapReduce TotalOrderPartitioner 全局排序
MapReduce TotalOrderPartitioner 全局排序我们知道Mapreduce框架在feed数据给reducer之前会对map output key排序,这种排序机制保证了每一个reducer局部有序,Hadoop 默认的partitioner是HashPartitioner,它依赖于output key的hashcode,使得相同key会去相同reducer,转载 2015-03-20 18:35:22 · 792 阅读 · 0 评论 -
初学maven(5)-使用assembly plugin实现自定义打包
在上一篇文章中,讨论到在对maven的机制不熟悉的情况下,为了实现自己需要的打包格式而使用maven ant task以maven + ant的方式来实现非标准打包,而现在要介绍的是maven中针对打包任务而提供的标准插件:assembly plugin。 依然以上文(初学maven(4)-使用maven ant task实现非标准打包)的项目为例,要打包的程序如下:转载 2014-06-17 11:44:26 · 464 阅读 · 0 评论 -
初学maven(4)-使用maven ant task实现非标准打包
maven很强大,但是总有些事情干起来不是得心应手,没有使用ant时那种想怎么干就怎么干的流畅感。尤其当要打包一个特殊(相对maven的标准架构而且)时,常有不知所措的感觉。当然这个应该和自己对maven的了解不够有关,毕竟,“初学maven”嘛。 但是maven在依赖管理方面实在是太强大了,太喜欢,退回原来的ant方式完全不可能,我想用过maven的人,一般是不会有回到原来在cvs转载 2014-06-17 11:43:24 · 1431 阅读 · 0 评论 -
初学maven(3)-使用nexus替代artifactory作为maven私服
之前看到过一些Nexus的介绍,由于刚开始接触maven时使用的私服是artifactory,因此没有太在意。今天想着既然Nexus能有胆量出来混,应该有点真本事才是,看了一下nexus的安装介绍,挺简单的,试试无妨。因此装上小试了一下,结果喜出望外,nexus的表现非常不错,尤其是在开启远程索引之后,简直太方便了。 于是决定放弃artifactory改而使用nexus作为自己的ma转载 2014-06-17 11:42:04 · 1685 阅读 · 0 评论 -
初学maven(2)-maven/artifactory/m2eclipse安装全过程
前段时间研究过一下maven,中途因为工作忙搁置了一段时间,重新再看时发现安装过程基本忘光。只好找资料看然后再来一遍,将maven,artifactory和m2eclipse安装使用的全过程记录整理出来,备忘。另外我想这些资料应该比较适合maven的入门新手,照做一遍就可以完成三个东西的安装设置,然后就可以学习和使用了。一. 安装maven 安装官方标准的安装方式(http://转载 2014-06-17 11:40:45 · 502 阅读 · 0 评论 -
初学maven(1)-常见小问题集锦
初学maven(1)-常见小问题集锦上传者:hi_720 累计赚钱 6.074 元 我也要“分享赚钱”2013/2/9关注(243)评论(0)声明:此内容仅代表网友个人经验或观点,不代表本网站立场和观点。初学maven,遇到不少问题,记录下来,呵呵,依然是备忘兼共享。转载 2014-06-17 11:35:06 · 414 阅读 · 0 评论 -
hbase开发,hbase表操作及其java api实现
]开发环境hadoop: hadoop-1.1.2hbase: hbase-0.94.11-securityeclipse:Juno Service Release 2配置Eclipse 通过 Eclipse 创建一个新 Java 工程,右击项目根目录,选择“Properties> Java Build Path> Library>转载 2015-06-01 20:04:50 · 804 阅读 · 0 评论