![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
han3ying1jun8
这个作者很懒,什么都没留下…
展开
-
hadoop处理手机流量小例子
最近一直在学习hadoop 这是一个简单的关于MapReduce的示例 通过实现map和reduce2个函数完成操作 首先定义一个自定义对象 [code="java"]class MyWriterble implements Writable{ long UpPackNum; long DownPackNum; long UpPayLoad; long DownPayL...2015-03-09 23:45:03 · 196 阅读 · 0 评论 -
hadoop处理前N个最值问题
例子为100W 条数据 取出前十个最值(纯本人看完课程后的手写,没有参考网上,结果应该没问题的,也没找到标准答案写法。。) 首先,由于值都是double,默认的排序方式是升序,这里面我们取得是降序,所以自定义hadoop对象,并实现WritableComparable接口,然后覆盖compareTo方法。 [code="java"] class MySuperKey implements...2015-03-26 22:48:32 · 161 阅读 · 0 评论 -
hadoop求最大值方法
hadoop求最大值问题,代码比求最值前N个要简单一些,因为直接使用LongWritable类型,不需要自定义hadoop对象进行比较,所以直接覆盖map和reduce方法,并且覆盖cleanup方法,这是在map和reduce都执行完成之后才会执行的方法,只需要把最大值写入即可 [code="java"]public class MySuper { public static void m...2015-03-26 22:53:51 · 791 阅读 · 0 评论 -
elasticsearch与spark,hbase等jar包冲突导致报错问题
在原有的spark程序中,其中包含hhase,spark等,会出现jar包冲突导致有异常的问题,程序中都是使用maven。 在异常中,包含nosuchmethod的异常错误信息,可以看出是guava版本与hadoop版本不一致导致,Hadoop中使用的是12版本,而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本,会导致类中的方法找不到的异常。 解决办法是,es的依赖不使用...2016-07-19 21:52:01 · 449 阅读 · 0 评论 -
flume集群搭建
搭建一个flume集群,设置2个节点,如下图这样的集群 [img]http://dl2.iteye.com/upload/attachment/0111/7129/d521584b-e8a6-32f4-8a09-b167c86a401d.png[/img] 2个节点分别为192.168.5.220和192.168.5.221 设置成这样的情景,第一个接受日志传过来的数据(这里使用配置lo...2015-09-15 11:30:39 · 357 阅读 · 0 评论 -
flume+kafka+sparkstreaming搭建整合
主要是数据从flume进去kafka,然后交给sparkstreaming处理的流程 本文依旧以单词计数例子为例 首先,flume使用1.6版本,如果是1.6以下的话,没带有官方的kafkasink,需要自己实现,自己实现也不难实现,写一个自定义的sink,在里面方法调用kafka生产者代码,把数据发送到指定的kafka的broker的topic即可。 此处使用1.6版本,直接使用kafka...2015-11-22 00:03:57 · 216 阅读 · 0 评论 -
linux的ntp服务器时间同步设置
时间同步这个需求在很多地方都有。比如安装cm和cdh的话,需要ntp时间同步,否则会出现红色警告 这里主要是设置一台服务器作为主服务器,让其他机器同步这台机器的时间,而且是配置的本地时间,没有同步internet时间,因为很多时候服务器不能联网 首先我们这里设置2台机器,主机器为192.168.5.102,另外一台为192.168.5.103 首先设置主机器 编辑/etc/ntp.co...2015-12-01 22:00:25 · 366 阅读 · 0 评论 -
spark实现hadoop中获取文件名的功能
hadoop1版本中提供了获取文件名的功能,就是在map阶段可以获取每一行记录属于哪个文件,可以得到这个文件名,代码如下:[code="java"]//获取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getName...2016-02-19 17:37:01 · 444 阅读 · 0 评论