HADOOP
文章平均质量分 76
DanyYan
这个作者很懒,什么都没留下…
展开
-
HADOOP学习笔记总结一:HDFS
一、Hadoop的来源 二、hadoop的子项目 三、Hadoop的安装与版本 Hadoop 的有三条线并行演化,各个版本的功能是不一样的。所以2.7并不一定比0.23的要新。 比如说,0.23这个版本增加了用户认证的功能,但其他的版本确没有此功能。 官方地址:https://hadoop.apache.org,官方文档完整,较清晰,不过是英语,其实也是容易读懂的 四、HD...原创 2018-10-25 17:37:28 · 265 阅读 · 0 评论 -
HADOOP学习笔记总结二:分布式计算框架mapreduce
一、mapreduce 设计理念 移动计算不移动数据 1、split数据切片 2、MAP过程 3、shuffle过程 4、reduce过程 二、shuffler过程 partition过程默认hash模计算,根据reduce 的数量来决定,分好区后,reduce 自已fetch自己的那个部分后,再merge操作,可以解决所谓的数据倾斜问题。 sort排序,为后面的r...原创 2018-10-26 09:59:02 · 494 阅读 · 0 评论 -
HADOOP学习笔记总结三: HBASE
一、HADOOP生态系统 HBase是HADOOP的生态系统,是建立在Hadoop文件系统(HDFS)之上的分布式、面向列的数据库,通过利用Hadoop的文件系统提供容错能力。 二、HBase是什么 三、HBase处理数据 虽然Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统,但是它不适用于提供实时计算;HBase是可以提供实时计算的分布式数据库,数据被保存在H...原创 2018-10-29 11:00:39 · 252 阅读 · 0 评论 -
HADOOP学习笔记总结三:zookeeper
在学习Hbase时,官方文档说hbase依赖于zookeeper来管理与跟踪其分布式数据的状态,hregionserver与hmaster都需要向它注册。那什么是zookeeper呢?今天学习一下: 1、zookeeper是什么 ZooKeeper是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。Zo...转载 2018-10-29 12:13:00 · 283 阅读 · 0 评论 -
Thrift的入门知识
一、Thrift是什么 The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work effic...转载 2018-11-02 09:20:53 · 148 阅读 · 0 评论 -
zookeeper安装
zookeeper有单机、伪集群、集群三种部署方式,可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装 1.1 下载 进入要下载的版本的目录,选择.tar.gz文件下载 下载链接:http://archive.apache.org/dist/zookeeper/ 1.2 安装 使用tar解压要安装的目录即可,以3.4.5版本为例 ...转载 2018-11-02 11:47:28 · 139 阅读 · 0 评论 -
zookeeper启动报错/usr/local/zookeeper-3.4.10/bin/zkEnv.sh: Syntax error: "(" unexpected (expecting "fi")
百度才了解到,ubutu的sh设置连接为dash(我的docker 使用的ubutu境像) root@3c511e2e3866:/usr/local/zookeeper-3.4.10/bin# ls -l /bin/sh lrwxrwxrwx. 1 root root 4 Feb 17 2016 /bin/sh -> dash 设置下: root@...原创 2018-11-02 12:07:50 · 987 阅读 · 0 评论