hadoop
夜飛雪
这个作者很懒,什么都没留下…
展开
-
分布式系统 (大规模分布式系统原理解析和架构实践)
分布式系统的基础理论:分布式系统:多台机器通过网络连接在一起,作为一个整体为上层提供服务。一、基础理论知识:数据分布、复制、一致性、容错。1、异常(1)服务器宕机(内存错误,服务器停电):如何通过读取持久化戒指(机械硬盘/固态硬盘)中的数据恢复内存信息,从而恢复宕机前某个一致性状态。(2)网络异常(消息丢失,消息异常):网络永远不可靠,任何一个消息只有接到对方回复才可以认为是成功的。系统设计时要假转载 2016-10-27 10:00:42 · 437 阅读 · 0 评论 -
hadoop、hbase、hive、zookeeper版本对应关系
hive 0.14 支持hadoop版本Hadoop 1.x.y, 2.x.yhive 1.0.0 支持hadoop版本Hadoop 1.x.y, 2.x.yhive 1.1.0 支持hadoop版本Hadoop 1.x.y, 2.x.yhive 1.2.0 支持hadoop版本Hadoop 1.x.y, 2.x.yhive 1.2.转载 2016-10-26 19:20:19 · 8405 阅读 · 0 评论 -
Hadoop 简介 及 安装
1.什么是Hadoop1.1 Hadoop历史渊源 Doug Cutting是Apache Lucene创始人, Apache Nutch项目开始于2002年,Apache Nutch是Apache Lucene项目的一部分。2005年Nutch所有主要算法均完成移植,用MapReduce和NDFS来运行。2006年2月,Nutch将MapReduce和NDFS移出Nut转载 2016-10-27 16:03:35 · 1946 阅读 · 0 评论 -
hadoop 安装
1.准备1.jdk安装2.创建hadoop运行用户3.用该用户实现ssh无密码验证2.安装下载,解压缩: tar -zxvf 安装包名7个关键配置文件: ~/hadoop/etc/hadoop/hadoop-env.sh ~/hadoop/etc/hadoop/yarn-env.sh ~/hadoop/etc/hadoop/slaves ~/hadoop/et原创 2016-10-28 10:01:05 · 510 阅读 · 0 评论