初识大数据（big data）

一、大数据分析业务步骤
1、明确分析的目的和思路

2、数据收集

2.1使用的技术 sqoop、flume

3、数据处理

3.1详细步骤：提取、清洗、转换、加载

所要使用的技术：sqoop、kettle、MapReduce

4、数据分析

4.1 统计、建模、挖掘

要掌握的技术：hive、spark、flink

5、数据可视化

要学的技术superset、echarts、BI工具

6、报告撰写

二、大数据核心框架
1 Hadoop

2 Hive

3 Spark

4 Flink

5 Kafka

6 Hbase

三、大数据职业规划
1 大数据开发工程师

2 Hadoop开发工程师

3 Spark开发工程师

4 实时计算开发工程师

5 数据仓库开发工程师

6 ETL开发工程师

7 BI开发工程师，即做可视化

8 数据挖掘工程师

9 数据架构师

四、linxu的目录结构
Linux不同于Windows系统（Windows系统要盘符，比如c盘、d盘……），Linux的目录结构是一个树形结构，系统默认有很多文件夹，作为开发人员我们应该清楚每个目录大致是做什么的。
1、/bin目录：二进制目录所在目录

2、/boot目录：系统引导程序所需要的文件目录

3、/dev目录：设备软件目录、磁盘、光驱

4、/etc目录：系统配置、程序启动

5、/home目录：普通用户的家，目录默认数据存放目录

6、/lib目录：共享库文件和内核模块存放目录

7、/mnt目录：临时挂在储存设备的挂载点

8、/opt目录：额外的应用软件包

9、/proc目录：操作系统运行时，进程信息和内核信息存放在这里

10、/root目录：Linux超级权限用户root家目录

11、/sbin目录：和管理系统相关的命令，超级管理员用

12、/temp目录：临时文件目录，这个目录可以当回收站使用

13、/usr目录：用户或系统软件应用程序目录