Hadoop
失散Lost
这个作者很懒,什么都没留下…
展开
-
执行stop-dfs.sh后无法停止hadoop集群
提示no namenode to stop no datanode to stop原创 2020-08-04 13:54:01 · 861 阅读 · 0 评论 -
Yarn的流程简单图示
Resource Manager:全局资源管理器,一个集群只有一个RM。负责和AM(Application Master)交互,资源调度、资源分配等工作。 Application Master:应用程序的管理器,类似项目经理,一个应用程序只有一个AM。负责任务开始时找RM要资源,任务完成时向RM注销自己,释放资源;与NM通信以启动/停止任务;接收NM同步的任务进度信息。 Node Manage...原创 2020-03-03 21:40:58 · 401 阅读 · 0 评论 -
hadoop伪分布式搭建
0.准备 虚拟机:centos7 mini(已关闭防火墙,配置本机免密,映射) java环境:jdk1.8 远程连接工具:xshell6 家庭/学校版 hadoop版本:hadoop2.8.5 操作用户:root 1.下载解压 所在目录: /opt/soft [root@localhost soft]# wget https://mirrors.tuna.tsinghua.edu.cn/apac...原创 2019-09-20 21:24:52 · 91 阅读 · 0 评论 -
hadoop和hbase版本兼容展示
原创 2019-09-20 09:46:03 · 872 阅读 · 0 评论 -
Yarn的简单配置
yarn属于hadoop的一个组件,不需要再单独安装程序,hadoop中已经存在 配置文件的设置 yarn也是一个集群,有主节点和从节点。 配置YARN集群: cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <configuration> <!--用于执...原创 2019-09-08 15:26:35 · 1421 阅读 · 0 评论 -
Zookeeper的介绍和选举机制
1.什么是zookeeper 英文文献来自官网,中文用google翻译 ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of t...原创 2019-09-07 21:32:57 · 308 阅读 · 0 评论 -
mapreduce经典案例之WordCount
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding ...原创 2019-09-06 16:50:47 · 348 阅读 · 0 评论 -
centos7-minimal yum安装jdk1.8
直接执行这条命令,分界线后面的可以不看 yum -y install java-1.8.0-openjdk* 如果出现错误,往下看 =================================================== 1.检查 先检查一下是否安装了jdk [root@localhost ~]# java -version -bash: java: 未找到命令 不出意外,min...原创 2019-09-06 00:18:57 · 353 阅读 · 0 评论 -
mapreduce之map端的join
map-side join: 核心思想:将小表进行分布式缓存,在map-task阶段读取缓存文件数据存储到内存数据结构中,以供reduce阶段连接查找。 适用场景:有一个或者多个小表(文件) 优点:将小表缓存,可以高效查询;由于在map阶段进行连接,所以将会大大减小map到reduce端的数据传输,从而减少不必要的shuffle耗时,提高整个mr的执行效率 缺点:如果业务全是大表不适合 示例 三张...原创 2019-09-05 17:58:45 · 510 阅读 · 2 评论 -
centos7-minimal配置阿里云yum源
1.检查一下,是否配置了wget [root@localhost /]# man wget 没有 wget 的手册页条目 2.配置wget yum -y install wget 3.wget下载repo wget http://mirrors.aliyun.com/repo/Centos-7.repo 4.移动Centos-7.repo到/etc/yum.repos.d/ mv Cent...原创 2019-09-02 09:47:12 · 786 阅读 · 0 评论