- 博客(14)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 nagios配置详解与集群监控
1 前言本系列文章主要讲述如何一步一步地监控大数据平台集群状况，接上篇文章nagios安装部署,本文主要阐述Nagios主要配置文件，Nagios运作流程，如何监控一个Zookeeper集群，并以一个该实例贯穿全文。2 Nagios文件结构2.1 监控端文件结构nagios/├── bin├── etc│ └── objects├── libexec├── sbin├── share
2015-11-27 20:56:38
2402
原创 nagios安装部署
1 前言HBase集群数据量越来越大了，故障也越来越频繁，为了有效地监控HBase集群的使用情况，先研究Nagios的使用，后续与Gangia或者JMX集成，达到很好地监控作用。2 Nagios简介Nagios可以监控本地或远程主机以及服务，更重要地是提供异常通知功能，方便第一时间通知运维人员系统的异常状况。 Nagios构架图如下： 主要说明：Nagios本身并不提供监控功能，监控功能有Na
2015-11-26 00:06:56
824
转载 hbase性能监控
目前，淘宝的hbase监控平台上，主要借助ganglia来采集监控数据。采集到的监控数据会借助rrdtool开发库来解析数据，做进一步的处理，例如数据展现、报警触发、性能统计报表等等。采集的监控数据主要包括四个方面：某台机器OS层面上的数据，例如内存、磁盘、网络、load、网络流量等；某台regionserver（或是master）上的RPC请求，主要是RPC的处理平均时间和请求次数；某台regio
2015-11-25 10:40:54
3631
翻译 HBase性能调优之模式设计
可以转载，请注明：http://blog.csdn.net/oozie123。1 Number of Column Families目前还不能在两个及以上Column Families上运行良好，建议1个，参考On the number of column families。2 Key and Attribute Lengths尽可能短，另外使用压缩，参见Try to minimize row a
2015-11-25 09:55:50
1035
转载 Apache Ignite——新一代数据库缓存系统
将数据存储在缓存中能够显著地提高应用的速度，因为缓存能够降低数据在应用和数据库中的传输频率。Apache Ignite允许用户将常用的热数据储存在内存中，它支持分片和复制两种方式，让开发者可以均匀地将数据分布式到整个集群的主机上。同时，Ignite还支撑任何底层存储平台，不管是RDBMS、NoSQL，又或是HDFS。在集群配置好之后，数据集增加只需在Ignite集群中增加节点而不需要重启整个集群。节
2015-11-24 08:50:40
903
原创 Hadoop 通用数据摄取框架：Gobblin
Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。Gobblin 通过同样的执行框架从不同数据源摄取数据，在同一个地方管理所有不同数据源的元数据。同时结合了其他特性
2015-11-23 08:32:29
1109
翻译 ZooKeeper在HBase中的运用
一个分布式HBase系统安装依赖于一个运行着的ZooKeeper集群，所有参与的节点和客户端必须能够正常访问运行着的ZooKeeper集群。HBase默认为你提供一个节点的ZooKeeper集群，它会伴随着HBase start/stop进程的启动/停止而启动/停止，当然你也可以运行自己的一个ZooKeeper集群，为了切换是否启用默认ZooKeeper集群，需在conf/hbase-env.sh中
2015-11-21 16:24:16
3411
翻译 HBase性能调优
欢迎转载，请注明：http://blog.csdn.net/oozie1231 操作系统1.1 内存内存，内存，内存，别让HBase挨饿。1.2 64-bit用64位平台(和64位的JVM)。1.3 交换区小心交换区，设置swappiness为0。2 网络避免由于网络原因降低Hadoop和HBase集群性能，最重要的是考虑我们使用的交换硬件，当集群规模增大到2~3倍时，可能造成严重问题。 该着重
2015-11-19 21:59:42
938
翻译 容量规划和Region配置
欢迎转载，请注明：http://blog.csdn.net/oozie123 当我们规划HBase集群容量和执行初始配置时，有很多注意事项。合理配置我们得对HBase内部数据的处理有深入的理解。1 节点数和硬件/VM配置1.1物理数据大小你的数据在磁盘上的物理数据大小与逻辑数据大小截然不同，而且被下面选项影响:增加的HBase开销。keyvalue and keysize，每个keyvalu
2015-11-19 08:50:35
5782
原创 HBase集群无法读写数据
1 问题现象HBase集群于11.17晚无法写入数据，所有的同步至HBase的服务都无法写入HBase库。2 问题原因所有的写入服务都无法写入数据，排除应用本身的问题，考虑HBase集群本身出现问题。进入hbase shell，scan一下当中的表是否可以读取数据，结果命令卡住无法正常读取数据。重新启动HBase集群，查看 master节点日志，发现： 由此，可到看到hbase:meta所在r
2015-11-18 16:23:00
3201
原创 Hadoop YARN中内存配置
主要参数RM● yarn.scheduler.minimum-allocation-mb 对每个Contaioner，向RM申请内存的最小配置，请求低于此配置，抛出InvalidResourceRequestException。 ● yarn.scheduler.maximum-allocation-mb 对每个Contaioner，向RM申请内存的最大配置，请求大于此配置，抛
2015-11-16 16:51:49
1621
转载 Yarn的JVM重用功能——uber
在文章开头，我想先做几点说明： 1、本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析，并且我也将我的分析发给了Hadoop community， 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。 2、本文中uber的配置部分，主要参考之前Hadoop开发者的言论。但是我当初看该言论的时候对一些细节有所疑惑，
2015-11-16 15:03:47
1013
原创 Hive提交任务内存不足
Application application_1445597112995_0009 failed 2 times due to AM Container for appattempt_1445597112995_0009_000002 exited with exitCode: 143 due to: Container [pid=20649,containerID=container_14455
2015-11-16 11:34:22
3218
翻译 Apache HBase Configuration
Apache HBase Configuration这一章节在getting started 章节的基础上，进一步阐述HBase配置。请仔细地阅读本章节，特别是那些能够保证你的HBase测试和部署正常运行，并防止数据丢失的先决条件。
2015-11-11 11:28:04
560
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人