大数据平台
文章平均质量分 65
sunshineMay_1014
美好的未来等着你,相信 努力 会创造奇迹~
我 从未停止脚步~
展开
-
redhat 装载 fcitx
1.基本准备 操作系统:redhat 5.2 jdk:jdk-6u21-linux-i586-rpm.bin(安装1.6或以上版本,安装步骤请参考其他文) hadoop:hadoop-0.21.0.tar.gz 硬件:三台机器,IP配置如下: node1:192.168.14.77 node2:192.168.14.155 node3:192.168.14转载 2015-09-29 12:55:14 · 501 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合 分类: big data综合知识2014-05-09 20:56 2474人阅读 评论(1) 收藏 举报 大数据架构 个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们转载 2015-09-16 20:03:52 · 917 阅读 · 0 评论 -
OPENSOC
OpenSOC初探 Cisco在最近的BroCon大会上公布了旗下的OpenSOC项目即将开源的消息,在其GIT站点上也开始放出了部分代码,应该说OpenSOC对于当今大数据分析的“落地”有着重要的意义。一直以来各界都鼓吹大数据的神奇力量,但是却一直无法真正落实到实际中发挥作用,OpenSOC则为我们展现了一次大数据的成功应用。 OpenSOC是Cisco的安全大数据分析架构,其建立转载 2015-09-16 20:06:22 · 987 阅读 · 0 评论 -
HDFS浅析
HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。 一、HDFS的主要设计理念 1、存储超大文件 这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问) HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间转载 2015-09-18 10:54:00 · 442 阅读 · 0 评论 -
Kafka分布式消息系统
Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。 当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适合离线)。高可靠交付对linkedin的日志不是必须的,故可通过降低可靠性来提高性能,同时转载 2015-09-20 20:59:23 · 355 阅读 · 0 评论 -
kafka-客户端c接口
转自: https://github.com/edenhill/librdkafka kafka 客户端用c,服务器端用java,日志消息传输,get it!转载 2015-09-21 18:21:29 · 1323 阅读 · 0 评论