大数据
weixin_44928809
这个作者很懒,什么都没留下…
展开
-
zookeeper集群搭建
zookeeper集群搭建 三台服务器分别为hadoop01,hadoop02,hadoop03且已经在hosts中配置 三台服务器网络连通 三台服务器都已经安装好jdk 解压zookeeper tar -zxvf apache-zookeeper-3.5.5-bin -C /home/hadoop/app/ 配置zoo.cfg # The number of milliseconds of ...原创 2019-09-25 16:14:36 · 71 阅读 · 0 评论 -
hadoop hdfs ha(高可用)配置步骤
步骤 背景 在hadoop2.x中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。 hadoop2.x官方提供了两种HDFS HA的解决方案,一种是NFS,一种是QJM。QJM主要是主备N...原创 2019-09-25 15:59:30 · 299 阅读 · 0 评论 -
配置hadoop yarn高可用
前提 三台服务器分别为hadoop01,hadoop02,hadoop03且已经在hosts中配置 三台服务器网络连通 三台服务器都已经安装好jdk和zookeeper 1.配置yarn-site.xml 进入配置文件目录: cd ./hadoop-3.1.2/etc/hadoop 修改配置文件: vi yarn-site.xml <configuration> <...原创 2019-10-03 14:23:27 · 400 阅读 · 0 评论 -
使用MapReduce自定义统计词频
MapReduce编程模型 1. 一种分布式计算模型,解决海量数据的计算 2. MapReduce将整个并行计算过程抽象到函数 Map(映射):对一些独立元素组成的列表的每一个元素进行指定的操作,可以高度并行 Reduce(简化、规约):对一个列表元素进行合并 3. 一个简单的MapReduce程序只需要指定map(),reduce(),input和output,剩下的事由框架完成。 MapR...原创 2019-10-09 15:24:10 · 774 阅读 · 0 评论