- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 基于eclipse开发hadoop2中的MapReduce
开发在windows下开发,通过eclipse连接到hadoop集群,并且远程运行 参考代码为wordcount代码调试 直接运行,我测试MRunit测试开发异常解决1、Exception in thread "main" java.lang.UnsatisfiedL
2014-08-15 14:27:45 1026
转载 Hive实战之日志分析
http://www.csdn.net/article/2010-11-28/282620一、场景介绍本文主要讲述使用 hive 的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久,日志量并不大 。这些日志分布在 5 台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分析机,统计数据要求按小时更新。这些统计
2014-08-15 14:22:23 2645
转载 pig学习笔记
Pig是一种探索大规模数据集的脚本语言。pig是在HDFS和MapReduce之上的数据流处理语言,它将数据流处理翻译成多个map和reduce函数,提供更高层次的抽象将程序员从具体的编程中解放出来。 Pig包括两部分:用于描述数据流的语言,称为Pig Latin;和用于运行Pig Latin程序的执行环境。 Pig Latin程序有一系列的op
2014-08-15 14:16:42 3606
转载 scala语言学习笔记
简介 可伸缩的语言是一种多范式的编程语言,一种类似java的编程,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala是在JVM上运行。 Scala的特点* 面向对象风格* 函数式风格* 更高层的并发模型Scala把Erlang风格的基于actor的并发带进了JVM。开发者现在可以利用Scala的actor模型在JV
2014-08-15 14:13:10 1098
转载 Spark扫盲
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算
2014-08-15 14:07:54 2419
原创 Flume学习笔记
参考资料中文资料,log资料格式化,sink自定义http://blog.csdn.net/rjhymApache User Guidehttps://flume.apache.org/FlumeUserGuide.html基于cloudera的安装https://www.cloudera.com/content/cloudera-conte
2014-08-15 14:03:22 1407
原创 Oozie的学习笔记
介绍 在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。[1]在Hadoop生态圈中,有一种相对比较新的组件叫做Oozie[2],它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。本文中,我们会向你介绍Oozie以及使用它的一些方式。 什么是Oozie? Oozie是一种Java W
2014-08-15 13:42:13 952
原创 hadoop中 Incompatible namespaceID for journal Storage Directory 异常的处理方法
异常1、org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:192.168.7.13:8485: Incompatible namespaceID for journal Storag
2014-08-15 13:40:04 6846
转载 hadoop能用到的系统端口
hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080,80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和监控Hadoop系统运行状态Dae
2014-08-15 13:36:50 1647
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人