大数据-Hadoop-基础篇-第一章-导论

一、数据分析与企业数据分析的方向

1、数据是什么

  • 数据是指对客观事件进行记录并可以鉴别的符号
  • 它不仅指狭义上的数字,可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等

2、企业数据分析方向

  • 把隐藏在数据背后的信息集中和提炼出来,总结出所研究对象的内在规律,帮助管理者进行有效的判断和决策
  • 数据分析在企业日常经营分析中主要有三大方向

在这里插入图片描述

  • 现状分析(分析当下的数据):现阶段的整体情况,各个部分的构成占比、发展、变动;
  • 原因分析(分析过去的数据):某一现状为什么发生,确定原因,做出调整优化
  • 预测分析(结合数据预测未来):结合已有数据预测未来发展趋势

3、原因分析

  • 离线分析(Batch Processing)
    面向过去,面向历史,分析已有的数据
    在时间维度明显成批次性变化。一周一分析(T+7),一天一分析(T+1),所以也叫做批处理
    在这里插入图片描述

  • 实时分析(Real Time Processing Streaming)
    面向当下,分析实时产生的数据;
    所谓的实时是指从数据产生到数据分析到数据应用的时间间隔很短,可细分秒级、毫秒级
    在这里插入图片描述
    机器学习(Machine Learning)
    基于历史数据和当下产生的实时数据预测未来发生的事情;
    侧重于数据算法的运用,如分类、聚类、关联、预测

二、数据分析基本流程步骤

概述

  • 数据分析步骤(流程)的重要性体现在:对如何开展数据分析提供了强有力的逻辑支撑;
  • 张文霖在《数据分析六部曲》说,典型的数据分析应该包含以下几个步骤

在这里插入图片描述

步骤1 明确分析目的和思路

  • 目的是整个分析流程的起点,为数据的收集、处理及分析提供清晰的指引方向;
  • 思路是使分析框架体系化,比如先分析什么,后分析什么,使各分析点之间具有逻辑联系,保证分析维度的完整性,分析结果的有效性以及正确性,需要数据分析方法论进行支撑;
  • 数据分析方法论是一些营销管理类相关理论,比如用户行为理论、PEST分析法、5W2H分析法等。

步骤2 数据收集

  • 数据从无到有的过程:比如传感器收集气象数据、埋点收集用户行为数据
  • 数据传输搬运的过程:比如采集数据库数据到数据分析平台

在这里插入图片描述

步骤3 数据处理

  • 准确来说,应该称之为数据预处理
  • 数据预处理需要对收集到的数据进行加工整理,形成适合数据分析的样式,主要包括数据清洗数据转化数据提取数据计算
  • 数据预处理可以保证数据的一致性和有效性,让数据变成干净规整的结构化数据

步骤4 数据分析

  • 用适当的分析方法及分析工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程;
  • 需要掌握各种数据分析方法,还要熟悉数据分析软件的操作;

步骤5 数据展现

  • 数据展现又称之为数据可视化,指的是分析结果图表展示,因为人类是视觉动物;
  • 数据可视化(Data Visualization)属于数据应用的一种;
  • 注意,数据分析的结果不是只有可视化展示,还可以继续数据挖掘(Data Mining)、即席查询(Ad Hoc)等

步骤6 报告撰写

  • 数据分析报告是对整个数据分析过程的一个总结和呈现
  • 把数据分析的起因、过程、结果及建议完整的呈现出来,供决策者参考
  • 需要有明确的结论,最好有建议或解决方案

三、大数据

1、大数据5V特征

在这里插入图片描述

2、应用场景

  • 电商领域
    精准广告位,个性化推荐,大数据杀熟
  • 传媒领域
    精准营销,猜你喜欢,交互推荐
  • 金融方面
    理财投资,通过对个人的信用评估,风险承担能力评估,集合众多理财产品、推荐响应的投资理财产品。
  • 交通领域
    拥堵预测、智能红绿灯、导航最优规划
  • 传媒领域
    基站选址优化、舆情监控、客户用户画像
  • 安防领域
    犯罪预防、天网监控
  • 医疗领域
    智慧医疗、疾病预防、病源追踪

三、分布式与集群概念

在这里插入图片描述

在这里插入图片描述

评论 1 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

Blueeyedboy521

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值