![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lessonnair
这个作者很懒,什么都没留下…
展开
-
Hadoop的序列化
1、对象的序列化:将对象编码成一个字节流,以及从字节流中重新构建对象。2、java内建的序列化机制 在Java中,只需要在类声明中加入 implements Serializable即可。具体操作如在对象流ObjectOutputStream对象上调用writeObject()等。Java序列化参见《Java Object Serialization Specification》转载 2014-02-19 22:28:17 · 479 阅读 · 0 评论 -
大规模日志收集处理项目的技术总结
大规模日志收集处理项目的技术总结以下是2012年一个公司内部项目的技术总结,涉及到的方面比较多比较杂,拿出来和大家分享下。如果有更好的方案或者想法请联系我,谢谢~!注:文章中提到的其他系统(如哈勃Agent、EagleEye)是公司内部的其他系统,这里就不详细介绍了。简介TLog是一个分布式的,可靠的,对大量数据进行收集、分析、展现的的系统。主要应用场景是收集大量的运行转载 2014-03-20 16:11:39 · 640 阅读 · 0 评论 -
流式数据概念
将网关设计为,如果该网络内的第二客户机请求正向该网络内的第一客户机提供的数据流,则由网关复制该数据流,而不是再次向服务器请求相同的数据流。可以联合许多此类网关,以构成一个较大的负载均衡网络。本发明的一个重要方面是网关中的软件接口,该接口能够将数据包的地址类型从单点传送转变为多点传送或相反。执行子系统中的数据有三种类型:元组、元素和中间数据。元组是数据的基本单元。在逻辑上,元组是属性值的集合;在实转载 2014-03-21 10:00:51 · 1863 阅读 · 0 评论 -
windows上远程运行MapReduce任务遇到的问题
错误描述:转载 2014-05-15 17:12:20 · 536 阅读 · 0 评论 -
hive 实现不等连结
hive本身不支持不等连结,可以使用如下方法实现不等连结原创 2014-09-26 16:44:31 · 2017 阅读 · 0 评论 -
hadoop监控之Ganglia、Nagios的一些总结
一、关键资料引用:原创 2014-09-03 15:33:09 · 541 阅读 · 0 评论