kunjian的博客

千里之行 始于足下

20180517早课记录12-Hadoop
1.hadoop的广义和狭义的理解

狭义: Hadoop软件(HDFS、MapReduce、Yarn)
广义: 以hadoop为主的生态圈

2.hadoop三大组件是什么?分别是做什么?

HDFS: 分布式文件管理系统 存储
MapReduce: 执行引擎 计算
Yarn: 资源(memory cpu)和作业调度平台 资源

3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系,那么你们会配置吗? root和其他用户有什么区别? 知道在哪找吗?

会 其他用户注意authorized_keys权限 要改为600
http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html官网有介绍

4.xml配置文件官网怎么找,会不?

http://hadoop.apache.org/docs/r2.8.3/ 拉到最后在左侧栏

5.hdfs启动时,报JAVA home没有,怎么修改呢?

vi etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}改为
export JAVA_HOME=/usr/java/jdk1.8.0_45

6.假如java配置OK了,就是用不了,估计什么问题?(昨天小伙伴的问题)

权限问题 hadoop安装包解压后用户和用户组出现问题

7.hdfs的三个进程是什么?默认存储在哪?

DataNode
NameNode
SecondaryNameNode
默认存储在/tmp下

8.jps 发现进程不可用信息,生产上正确处理流程是什么?

ps -ef|grep pid看下是否存在

9.hdfs的web界面端口号是多少

50070

10.yarn的web界面端口号是多少

8088

11.假如让你们该这两个默认端口号,请问怎么改,去哪找?(跳跃思维)

可以去官网找相应配置说明
更改dfs.namenode.http-address及yarn.resourcemanager.webapp.address参数

12.mapreduce案例 jar,我也不记得路径在哪,该怎么办

在hadoop安装目录find ./ -name “example

13.我们学习了第一个提交 jar到yarn平台,那么命令是什么

hadoop jar

阅读更多
文章标签: Hadoop
个人分类: Hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

20180517早课记录12-Hadoop

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭