- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅
1原创 基于eclipse开发hadoop2中的MapReduce
开发在windows下开发，通过eclipse连接到hadoop集群，并且远程运行 参考代码为wordcount代码调试 直接运行，我测试MRunit测试开发异常解决1、Exception in thread "main" java.lang.UnsatisfiedL
2014-08-15 14:27:45
1009
转载 Hive实战之日志分析
http://www.csdn.net/article/2010-11-28/282620一、场景介绍本文主要讲述使用 hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计
2014-08-15 14:22:23
2189
转载 pig学习笔记
Pig是一种探索大规模数据集的脚本语言。pig是在HDFS和MapReduce之上的数据流处理语言，它将数据流处理翻译成多个map和reduce函数，提供更高层次的抽象将程序员从具体的编程中解放出来。 Pig包括两部分：用于描述数据流的语言，称为Pig Latin；和用于运行Pig Latin程序的执行环境。 Pig Latin程序有一系列的op
2014-08-15 14:16:42
3567
转载 scala语言学习笔记
简介 可伸缩的语言是一种多范式的编程语言，一种类似java的编程，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala是在JVM上运行。 Scala的特点* 面向对象风格* 函数式风格* 更高层的并发模型Scala把Erlang风格的基于actor的并发带进了JVM。开发者现在可以利用Scala的actor模型在JV
2014-08-15 14:13:10
1086
转载 Spark扫盲
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算
2014-08-15 14:07:54
2398
原创 Flume学习笔记
参考资料中文资料，log资料格式化，sink自定义http://blog.csdn.net/rjhymApache User Guidehttps://flume.apache.org/FlumeUserGuide.html基于cloudera的安装https://www.cloudera.com/content/cloudera-conte
2014-08-15 14:03:22
1394
原创 Oozie的学习笔记
介绍 在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较新的组件叫做Oozie[2]，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。本文中，我们会向你介绍Oozie以及使用它的一些方式。 什么是Oozie? Oozie是一种Java W
2014-08-15 13:42:13
939
原创 hadoop中 Incompatible namespaceID for journal Storage Directory 异常的处理方法
异常1、org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:192.168.7.13:8485: Incompatible namespaceID for journal Storag
2014-08-15 13:40:04
6763
转载 hadoop能用到的系统端口
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080，80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和监控Hadoop系统运行状态Dae
2014-08-15 13:36:50
1635
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人