- 博客(3)
- 收藏
- 关注
RSS订阅原创 redis3.0.6集群安装部署
前期准备 目前官网最新的redis stable版本为：3.0.6（时间点：2015年12月21日下午14点54分），支持集群安装部署。 首先下载最新版的tar包，scp到机器上（本文将会安装6个节点，3个主节点、3个从节点，由于redis默认需要3个主节点，如果想每个主节点有一个从节点这是最低配要求），端口都采用默认的6379修改配置 将下载的tar包解压，修改redis-3.0.6下的r
2015-12-21 19:31:23
14752
原创 不等key的reduce
场景描述 假设有这样的场景，现在需要计算文章标题的相似度，具体算法见http://www.lanceyan.com/tech/arch/simhash_hamming_distance_similarity.html。接下去算下的结果为： 标题 相似度值 A 13 B 14 C 15
2015-12-15 14:17:03
888
原创 基于yarn的公平调度实例
场景描述 假设遇到这样的客户，需要在公司内部的集群上进行任务提交运行，客户的任务是每天跑取一些比较简单的mr程序（凌晨提交上来，需要在当天的6点之前运行结束），而公司内部自己需要用集群做相应的计算，计算主要是每个月的月初开始执行，一共100多个mr，大概需要执行半个月（前提是mr一个个得提交，资源利用率比较低下）。为了客户任务和公司内部自己的任务能够并行运行，同时确保在规定的时间内完
2015-12-01 17:19:57
4288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人