![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
独照松月冷别赋
未来的你一定会感谢现在拼命的自己.....
展开
-
HDFS概念,HDFS详解
HDFS概念 磁盘的block大小,是可以读写的最小单位。单一磁盘文件系统处理这些block中的数据,它通常是磁盘block大小的整数倍。文件系统的block大小通常是几kb,而磁盘block通常是 512b。这对于只是简单读写任意长度文件的文件系统使用者来说是透明的。尽管如此, 还是有一些工具来维护文件系统,如df和fsck,它是在文件系统的block级别操作的。原创 2017-06-19 08:56:41 · 1017 阅读 · 0 评论 -
hadoop2.x的简要说明,新特性yarn的加入
简要介绍 在hadoop1.x中,MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。在hadoop2.x中出现了YARN,资源管理模块则交由YARN实现,这样为了让MapReduce框架运行在YARN上,仅需要一个Application转载 2017-06-08 16:33:44 · 985 阅读 · 0 评论 -
ZooKeeper 基本介绍
Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储, Zookeeper 作用主要是用来维护和监控存储的数据的状态变化,通过监控这些数据状态的变化,从而达到基于数据的集群管理。1 Zookeeper基本框架Zookeeper集群主要角色有Leader,Learner(Follower,O转载 2017-06-13 08:38:54 · 316 阅读 · 0 评论 -
Zookeeper 的学习与运用
引子云计算越来越流行的今天,单一机器处理能力已经不能满足我们的需求,不得不采用大量的服务集群。服务集群对外提供服务的过程中,有很多的配置需要随时更新,服务间需要协调工作,这些信息如何推送到各个节点?并且保证信息的一致性和可靠性?众所周知,分布式协调服务很难正确无误的实现,它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气?Zookeeper是一个不错的选择。 Zookeepe转载 2017-06-13 09:32:29 · 227 阅读 · 0 评论 -
Hadoop+zookeepker安装与配置:
在hadoop-env.sh,hdfs-env.sh,mapred-env.sh中添加export JAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.原创 2017-08-10 08:56:00 · 523 阅读 · 0 评论 -
linux yum命令详解
yum---->Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令,而且命令简洁而又好记。yum的原创 2017-08-03 09:02:48 · 452 阅读 · 0 评论