大数据面试100题

1.列出安装Hadoop流程步骤

a) 创建hadoop账号

b) 更改ip

c) 安装Java 更改/etc/profile 配置环境变量

d) 修改host文件域名

e) 安装ssh 配置无密码登录

f) 解压hadoop

g) 配置hadoop  conf下面的配置文件

h) Hadoop namenode -format  格式化

i) Start 启动

2.列出hadoop集群启动中的所有进程和进程的作用

a) Namenode 管理集群  记录namenode文件信息

b) Secondname 可以做备份  对一定范围内的数据做快照

c) Datanode  存储数据

d) Jobtarcker 管理任务  分配任务

e) Tasktracker   执行任务

3.启动报nameNode错误 如何解决

a) 检查hdfs有没有启动成功

b)  检查输入文件是不是存在

4.写出下列执行命令 

杀死一个job

Hadoop job -list  取得job id

Hadoop job kill job id

删除hdfs上的 /temp/aa 目录

Hadoop -daemon。Sh start datanode 

加入一个新的节点或删除一个节点    刷新集群状态的命令

5.列出你所知道的调肚脐  说明其工作方法

a) Fifo schedular 默认的调肚脐  先进先出

b) Capacity schedular  计算能力调肚脐  选择占用内存小  优先级高的

c) Fair schedular 调肚脐  公平调肚脐  所有job 占用相同资源

6.列出开发map/reduce 元数据存储

a) 

7.用你最熟悉的语言辨析一个map reduce 计算第四个原色的个数

a) Wordcount  

8.你认为java streating pipe 开发map reduce 优缺点

a) Java 编写map reduce可以实现复杂的逻辑  如果需求简单  则显得繁琐

b) Hivesql  基本都是针对 Hive 中表数据进行编写  对复杂的逻辑很难实现