初级大数据平台应用开发工程师学习大纲

初级大数据平台应用开发工程师学习大纲

工作内容：

1.搭建大数据平台（Apache Hadoop）
2.安装必备组件（hive , hbase,spark，kafka,flume等）
3.平台常用命令使用
4.运用编程语言（java,python,scala等）按照业务需要独立开发数据处理程序
5.RDBMS与JDBC编程

能力要求：

1.熟练linux系统基本操作(如熟练使用常用的shell命令等)
2.了解大数据平台基本原理以及常用组件的使用（hadoop,hive,hbase,spark等），能够在Linux 系统上搭建Haoop 环境，并安装相关组件；
3.熟练使用至少一种主流编程语言（如：java、python、scala等），编写数据处理程序；
4.掌握SQL/PLSQL/HIVEQL基本操作（DML， DDL等）对数据进行简单的筛选统计操作；

学习大纲

一、Linux基础

1.linux安装，配置
2.linux命令
3.shell使用
4.shell脚本修改和使用
5.bash编程变量、传递参数、数组、运算符、流程控制、函数、输入输出重定向等基础语法
6.crontab介绍和使用

二、开发入门（至少掌握一门）