015_[小插曲]看黄老师《炼数成金Hadoop应用开发实战案例》笔记

最新推荐文章于 2022-07-03 16:28:57 发布

sunseazhu

最新推荐文章于 2022-07-03 16:28:57 发布

阅读量1.1k

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/u011528448/article/details/50962233

版权

本文介绍了数据分析的流程、角色、常用工具和层次，强调业务与分析结合的重要性。阐述了大数据的定义，并对比了传统数据分析工具与Hadoop的区别。列举了Hadoop在电信、DNA匹配、社会学等多个领域的应用案例，以及Hadoop生态系统中的Map-Reduce、Pig、Hive、Mahout等工具。最后提到了实验环境搭建和多个Hadoop应用场景。

摘要由CSDN通过智能技术生成

1、大数据金字塔结构

   Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->Data Presentations-->Making Decisions

2、从业职位
   业务人员、ETL工程师、数据仓库工程师（及时需求）、数据分析师、数据展现设计师、
   IT支持人员：运维。程序员、生产线数据管理员

3、数据分析：统计方法，有目的地对收集到的数据进行处理。
   数据挖掘：查找隐藏在数据中的信息的技术、应用算法从大数据集提取知识、隐性关联
   商业智能：Business Intelligece简称BI。
   BI=数据仓库（存储层）+数据分析与数据挖掘（分析层）+报表（展示层）

4、数据分析常用的算法和软件
   回归、时间序列分析、分类器（学习集）、聚类（聚合）、频繁模式挖掘

5、常用的传统数据分析工具排行
   R、SAS、Weka、STATISTICA、Matlab……
   这些都是实验室工具，当建模结束后，就不要他们，后面的预测工作就可以使用java、php、oracle等来做。
   后者是生产环境里面实现模型的工具。
   将建模的过程与实现建模生产的过程区分开来。

6、数据分析的层次
   第一层&#