- 博客(14)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Centos 6.5 下Cloudera Manager5.3.2的安装
宿主机硬件配置运行环境软硬件环境l 主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存l 虚拟软件：VMware®Workstation 9.0.0 build-812388l 虚拟机操作系统：CentOs 64bit，单核，2G内存虚拟机软硬件配置集群网络环境集群包含三个节点：节点之间局域网连接，可以相互ping通。节点IP地址和主机名分
2015-03-30 22:08:03
1469
原创 使用Python开发Kafka消息生产者
安装Kafka-Python下载Kafka-Python压缩包从https://github.com/mumrah/kafka-python/releases中下载最新的release包,此时最新的包为kafka-python-0.9.3.tar.gz 编译安装$tar -xvf kafka-python-0.9.3.tar.gz$cd kafk
2015-03-25 17:46:42
19542
2
原创 Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（自动切换）
简介在Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（手动切换） 一文中讲述了如何搭建一个通过手工方式实现namenode HA机制，本文描述如同通过Zookeeper来实现自动的HA.基本原理以及部分参数的讲解可参考手动切换的章节硬件环境HOSTNAMEIPHadoop
2015-03-25 13:13:52
2582
4
原创 Apache Phoenix JDBC 驱动和Spring JDBCTemplate的集成
介绍：Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。更多参考官网：http://phoenix.apache.org/Phoenix实现了JDBC的驱动，使用Phoenix JDBC和普通的数据库
2015-03-20 16:54:12
13620
原创 CentOS SSH无密码登录原理，配置以及常见问题
原理简介 为了便于理解，假设需要在hadoop148这台机器上可以通过无密码登录的方式连接到hadoop107上。首先在 hadoop148上生成一个密 钥对，包括一个公钥和一个私钥，并将公钥复制到hadoop107上。然后当 hadoop148通 过 SSH 连接hadoop107机器时， hadoop107机器 就会生成一个随机数并用 hadoop148的公 钥对随机数
2015-03-19 09:35:04
2654
翻译 设计Kafka的High Level Consumer
原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用High Level Consumer在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。消息消费已C
2015-03-13 16:35:52
3270
转载 kafka manager安装
转载自：http://hengyunabc.github.io/kafka-manager-install/项目信息https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些，显示的信息更加丰富，kafka-manager本身可以是一个集群。不
2015-03-12 13:42:00
1437
原创 Kafka学习之：Centos 下Kafka集群的安装
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110
2015-03-11 17:44:44
4737
转载 Kafka学习之：Kafka背景及架构介绍
转载自：http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的
2015-03-11 17:31:47
3552
1
原创 Phoenix 4.3.0 与 Hbase0.98.10-hadoop2的整合
介绍：Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。更多参考官网：http://phoenix.apache.org/本文主要详细介绍Phoenix 4.3.0 与 Hbase0.98.10-ha
2015-03-10 12:57:33
4510
原创 TCollect与OpenTSDB的集成
TCollect可以理解为OpenTSDB的数据采集前端，Tcollect负责采集监控数据，并发送到后端的OpenTSDB进行存储。运行说明：在进行TCollect的安装前先要确保OpenTSDB的正确安装，安装过程请参考：opentsdb-2.0.1 RPM包的安装以及测试下载tcollectorgit clone git://github.com/OpenT
2015-03-04 14:24:40
3320
原创 opentsdb-2.0.1 RPM包的安装以及测试
介绍开源监控系统OpenTSDB，用hbase存储所有的时序（无须 采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web
2015-03-03 17:37:27
3694
1
原创 Windows7+Eclipse环境下Hbase Java客户端的开发
本文展示如何在Windows的环境下通过Eclipse构建Hbase的客户端开发构建Hbase集群，请参考：Centos 下Hbase0.98.10-hadoop2 集群的配置在Eclipse中创建Maven的工程将集群的hbase-site.xml文件放到工程的classes目录下配置操作系统的C:\windows\system32\drivers\etc文件，将Hbas
2015-03-02 09:30:40
2353
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人