Distributed Computing
乔木人
这个作者很懒,什么都没留下…
展开
-
根据hostname 实现 Hadoop RackAwareness
基本思路思路1自定义DNSToSwitchMapping类的实现,然后配置在net.topology.node.switch.mapping.impl中思路2参考org.apache.hadoop.yarn.util.RackResolver原创 2013-11-14 09:07:39 · 552 阅读 · 0 评论 -
Hadoop DistributedCache使用案例
背景公司数据处理具有两个计算框架,单机框架和MR框架。目前我已经抽象出一套API interface, 供业务计算开发人员使用。并分别在两个计算框架下实现了API的执行调度。应用开发人员有时间需要通过上传override的配置文件,来调整业务计算参数。单机框架易于实现,但在MR框架里,需要解决override的配置文件的分发问题。实现1. 通过命令行传入配置文件路径;2原创 2015-06-11 22:42:05 · 875 阅读 · 0 评论 -
Zookeeper问题排查
现象zookeeper版本为3.4.3, hbase版本为0.94.7。按照zk的设计,一台机器down了之后应该仍然可以工作,但实际上应用中并不如此。Zookeeper一台机器在生产环境中被挪走,客户端始终无法连接HBase。问题排查抛出如下异常:Caused by: java.net.UnknownHostException: ops-new-launch-原创 2015-06-11 14:43:48 · 2542 阅读 · 0 评论 -
渐进式迁移 — 保证稳定性的一种方法
一口气不能吃成胖子,难事需要化整为零。生活中的这个简单道理在软件架构或模块设计也常有体现:redis —— 渐进式迁移redis通过拉链法来解决hash碰撞冲突。在redis应用中,由于数据的增加,同一个hash bucket里碰撞冲突的概率增加,造成性能成倍下降。这时候就需要增大hash空间size来,减少冲突,即为rehash。但rehash过程中,redis不能停止服务,这时候问题来原创 2015-08-16 11:59:25 · 915 阅读 · 0 评论 -
Elastic Search 学习概要
数据持久化数据先写入内存,同时记入trans log。 内存数据1秒后可读。当log太长时或到时(30min),内存数据持久化进disk,同时删掉log.https://www.elastic.co/guide/en/elasticsearch/guide/current/translog.html原创 2016-11-13 19:28:47 · 324 阅读 · 0 评论