hadoop
代码有毒 mrcode
不断学习并记录笔记,http://mrcode.cn/ 我的 GitHub:https://github.com/zq99299
展开
-
[笔记]hadoop2.4.1伪分布式集群搭建\hdfs入门
本次搭建大概过程:配置linux环境安装jdk安装hadoop2.4.1配置ssh免登陆首先配置一台。在安装好所有的步骤之后,在可以备份扩展机date的时候,克隆一台母机备份。以便扩展(不能直接克隆dateNode机器稍加改造使用,否则会出现:你用该dateNode扩展的所有机器都只能被成功使用一台,其他的莫名其妙的就掉线)准备linux环境配置vm虚拟机 点击VMware快捷方式,右原创 2015-04-05 15:19:22 · 1324 阅读 · 0 评论 -
[笔记]hadoop2.4.1分布式集群搭建入门/ha/zookeeper
开始之前的准备: 参照[笔记]hadoop2.4.1伪分布式集群搭建\hdfs入门 准备好7台服务器: 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK,配置环原创 2015-04-18 21:35:45 · 1224 阅读 · 0 评论 -
[笔记]MapReduce入门
MapReduce原理分布式运算思想场景需求 有一个日志文件,记录了一些搜索关键词搜索的记录,xx.log 按照 搜索时间 搜索关键词 ….. 等等属性为规则的一行行排列,使用分布式运行大概有以下几个步骤: 1:任务资源的分发(jar文件,运算程序) 1.1:服务器运算资源对各个任务的分配 2:任务在各个节点上设置运行环境,启动执行 3:监视各个节点上任原创 2015-04-12 19:39:13 · 2431 阅读 · 0 评论 -
[笔记]Hbase入门集群搭建
在之前: [笔记]hadoop2.4.1分布式集群搭建入门/ha/zookeeper 基础上进行部署安排: 在03,04上面安装主节点master,因为只做均衡负载和调度 在05、06、07上面运行regionservers,需要存储表在hdfs上面 主机名 IP 安装的软件 运行的进程 had03 192.168.184.143 Hbase HMaster原创 2015-04-25 22:50:26 · 2883 阅读 · 0 评论 -
使用zookeeper来解决在分布式系统中单节点维护微信token生命周期的容灾demo【已抽象分离】[分布式锁][9.28更新]
目标本文目标是为了解决:在开发微信公众号应用的时候,要面临的一个问题,维护基础支持的accessToken 的生命周期的问题,由于2小时过期,还有调用次数的限制,所以不得不专门来维护accessToken的生命周期(微信的toke刷新也是直接发起一个获取token,那么以前的token就不能被使用了)。 那么问题就来了,在分布式系统中,要解决的问题有两个:单节点去更新维护token的生命周期,并且原创 2015-09-23 21:58:23 · 2270 阅读 · 0 评论