第一天的需求
你好,先了解下自己工作的定位。
hadoop系统工程师:
1、hadoop框架开发环境搭建、调试。
2、对ETL工程师进行基于hadoop架构及原理讲解培训。
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。
4、基于XX项目大数据应用的实验开发。
部门使用的是集群环境如下:
服务器操作系统是 centos6,
cloudera版本的hadoop5.2版本,
数据仓库工具 impala,数据库 hbase,
数据处理工具为 pig,数据同步工具是 sqoop,
系统集群管理工具 hue,系统集群监控 ganglia+nginx
集群数据挖掘工具是mahout
在服务器到位后,安装搭建集群环境,并完成环境调试,以及形成集群环境安装文档以方便后续ETL同事开发了解。