Hadoop
失散Lost
这个作者很懒,什么都没留下…
展开
-
执行stop-dfs.sh后无法停止hadoop集群
提示no namenode to stop no datanode to stop原创 2020-08-04 13:54:01 · 1038 阅读 · 0 评论 -
Yarn的流程简单图示
Resource Manager:全局资源管理器,一个集群只有一个RM。负责和AM(Application Master)交互,资源调度、资源分配等工作。Application Master:应用程序的管理器,类似项目经理,一个应用程序只有一个AM。负责任务开始时找RM要资源,任务完成时向RM注销自己,释放资源;与NM通信以启动/停止任务;接收NM同步的任务进度信息。Node Manage...原创 2020-03-03 21:40:58 · 441 阅读 · 0 评论 -
hadoop伪分布式搭建
0.准备虚拟机:centos7 mini(已关闭防火墙,配置本机免密,映射)java环境:jdk1.8远程连接工具:xshell6 家庭/学校版hadoop版本:hadoop2.8.5操作用户:root1.下载解压所在目录: /opt/soft[root@localhost soft]# wget https://mirrors.tuna.tsinghua.edu.cn/apac...原创 2019-09-20 21:24:52 · 115 阅读 · 0 评论 -
hadoop和hbase版本兼容展示
原创 2019-09-20 09:46:03 · 931 阅读 · 0 评论 -
Yarn的简单配置
yarn属于hadoop的一个组件,不需要再单独安装程序,hadoop中已经存在配置文件的设置yarn也是一个集群,有主节点和从节点。 配置YARN集群: cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <configuration> <!--用于执...原创 2019-09-08 15:26:35 · 1526 阅读 · 0 评论 -
Zookeeper的介绍和选举机制
1.什么是zookeeper英文文献来自官网,中文用google翻译ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of t...原创 2019-09-07 21:32:57 · 364 阅读 · 0 评论 -
mapreduce经典案例之WordCount
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding ...原创 2019-09-06 16:50:47 · 397 阅读 · 0 评论 -
centos7-minimal yum安装jdk1.8
直接执行这条命令,分界线后面的可以不看yum -y install java-1.8.0-openjdk*如果出现错误,往下看===================================================1.检查先检查一下是否安装了jdk[root@localhost ~]# java -version-bash: java: 未找到命令不出意外,min...原创 2019-09-06 00:18:57 · 421 阅读 · 0 评论 -
mapreduce之map端的join
map-side join:核心思想:将小表进行分布式缓存,在map-task阶段读取缓存文件数据存储到内存数据结构中,以供reduce阶段连接查找。适用场景:有一个或者多个小表(文件)优点:将小表缓存,可以高效查询;由于在map阶段进行连接,所以将会大大减小map到reduce端的数据传输,从而减少不必要的shuffle耗时,提高整个mr的执行效率缺点:如果业务全是大表不适合示例三张...原创 2019-09-05 17:58:45 · 552 阅读 · 2 评论 -
centos7-minimal配置阿里云yum源
1.检查一下,是否配置了wget[root@localhost /]# man wget没有 wget 的手册页条目2.配置wgetyum -y install wget3.wget下载repowget http://mirrors.aliyun.com/repo/Centos-7.repo4.移动Centos-7.repo到/etc/yum.repos.d/ mv Cent...原创 2019-09-02 09:47:12 · 853 阅读 · 0 评论
分享