- 博客(18)
- 收藏
- 关注
RSS订阅原创 ZooKeeper 分布式锁实现
[b]场景描述[/b]在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问.本文将介绍如何利用zookeeper实现分布式锁.[b]获取锁实现思路：[/b]1. 首先创建一个作为锁目录(znode)，通常用它来描述锁定的实体，称为:/l...
2015-01-14 10:23:52
111
原创 Zookeeper 分布式配置管理
[b]原创[/b][b]配置中心代码：[/b][code="java"]import java.io.IOException;import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;...
2015-01-13 17:27:38
107
原创 Zookeeper 进阶之——Zookeeper编程示例（如何使用Zookeeper实现屏障Barriers和队列Queues）...
[quote]原文：http://www.cnblogs.com/haippy/archive/2012/07/26/2609769.html[/quote][b]引言[/b]本文将告诉你如何使用 Zookeeper 实现两种常用的分布式数据结构，屏障(barriers) 和队列(queues)，我们为此还分别实现了两个类：Barrier and Queue. 本文中的例子假设你已...
2015-01-13 09:36:28
173
原创 sqoop import and export
[b]import：[/b][code="java"]sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities[/code]--connect：指定JDBC URL--username/password：mysql数据库...
2015-01-13 09:33:03
265
原创 ZooKeeper 典型的应用场景(二)
原文：http://www.cnblogs.com/haippy/archive/2012/07/23/2604556.htmlZookeeper 进阶之——典型应用场景（二）2012-07-23 20:57 by Haippy, 5320 阅读, 0 评论, 收藏, 编辑本文是前一篇博文《Zookeeper 进阶之——典型应用场景（一）》的姊妹篇阅读指南——如何利用 Zo...
2015-01-12 17:26:07
100
原创 ZooKeeper 典型的应用场景
[quote]原文：[url]http://www.cnblogs.com/haippy/archive/2012/07/23/2603583.html[/url][/quote][b]ZooKeeper 典型的应用场景:[/b]Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些...
2015-01-12 17:23:18
82
原创 zookeeper java实例
[quote][b]原文：[/b]http://www.cnblogs.com/haippy/archive/2012/07/20/2600077.html[/quote]简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同...
2015-01-12 17:18:12
75
原创 zookeeper java-api
原文：[url]http://www.cnblogs.com/haippy/archive/2012/07/19/2600032.html[/url][b]简介[/b]Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同...
2015-01-12 17:14:13
67
原创 zookeeper的伪分布式搭建
[quote]原文：[url]http://www.cnblogs.com/haippy/archive/2012/07/19/2599989.html[/url][b]简介[/b][/quote]Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高...
2015-01-12 16:36:04
73
原创 Hadoop YARN中内存和CPU两种资源的调度和隔离
Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceM...
2015-01-07 11:22:02
73
原创 Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数Hadoop YARN配置参数剖析(5)—Capacity Schedul...
Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。在Capacity Scheduler的配置文件中，队列queueX的参数Y的配置名称为yarn.scheduler.capacity.queueX.Y，为了简单起见，我们记为Y，则每个队...
2015-01-07 11:20:18
139
原创 Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数
首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。Fair Scheduler的配置选项包括两部分，其中一部分在yarn-site.xml中，主要用于配置调度器级别的参...
2015-01-07 11:16:04
101
原创 mapreduce 任务调度器的配置
需求公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO，但是也有...
2015-01-07 10:56:31
193
原创 mapreduce 任务调度器的配置
需求公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO，但是也有...
2015-01-07 10:56:31
105
原创 hadoop的管理命令 dfsadmin
dfsadmin是一个多任务的工具，我们可以使用它来获取HDFS的状态信息，以及在HDFS上执行的一系列管理操作。调用方式例如：Hadoop dfsadmin -reportdfsadmin命令详解-report：查看文件系统的基本信息和统计信息。-safeadmin enter | leave | get | wait：安全模式命令。安全模式是NameNo...
2015-01-06 16:34:04
475
原创 hadoop集群balance工具详解
在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。 1） hadoop balance工具的用法：To start:bin/start-balancer.sh [-threshol...
2015-01-06 12:52:51
163
原创 hadoop fsck命令详解
hadoop fsckUsage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查这个目录中的文件是否完整 -move 破损的文件移至/lost+found目录...
2015-01-06 12:49:09
149
原创 hive + hbase
环境配置：hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node)hive-0.10.0-cdh4.3.0 一、查询性能比较： query1: select count(1) from on...
2015-01-04 10:42:11
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人