数据分析介绍

一、数据分析应用场景

• 1.通过数据分析，可以更好地了解用户画像，为企业做留存率、流失率指标分析，进而精细化产品运营；
• 2.可以预测比特币的走势；
• 3.信用卡反欺诈、自动屏蔽垃圾邮件（能够通过数据判断是否是信用卡诈骗、垃圾邮件）
• 4.通过数据分析可以告诉政府该如何智慧地管理交通，做城市规划
• 5.通过消费数据分析，告诉企业什么时间生成什么产品，以最大化满足用户的需求
• 6.通过生活大数据，可以告诉企业该如何选址等

二、对数据的理解

• 互联网上半场是粗狂运营，因为有流量红利就不要考虑细节。
• 互联网下半场，精细化运营是长久的主题。有数据分析，才能让用户有更好的体验。
• 我们要获得更多的用户（通过用户，发现潜在用户。），激发用户的购买欲望（关联分析，这类用户还需要什么，发现用户的潜在需求），留住用户。
• 我们做的不是刚需，是发现用户的潜在需求
• 数据分析可以帮助我们理解和使用数据

三、为什么要使用大数据呢？

• 因为从大量的数据我们可以获得规律，如果数据量小，会因为异常值导致我们错误的判断。
• 在获客上：我们可以找到优势的宣传渠道，通过个性化有针对性的宣传手段吸引潜在需求用户，并刺激其转化
• 在粘客上：如何提升用户的单次消费水平和消费频次，（购买后的个性化推荐、针对优质用户进行优质高价商品推荐）以及重复购买，通过红包、优惠方式激励对优惠敏感的人群，刺激其购买欲望，提升购买频次。
• 在留客上：预测用户是否可能从平台上流失。
• 在营销领域，关于用户留存有一个观点，如果将顾客流失率降低5％，公司利润将提升25%-85%。
• 用户流失可能包括多种情况：用户体验、竞争对手、需求变化等

四、数据分析可以分成三个重要的组成部分：

1.数据采集。

因为任何分析都要有数据源，我们通过数据采集获得数据源。

工具采集（八爪鱼）、开源数据源、python爬虫抓取（Scrapy、Selenium、lxml、phantomjs）

2.数据挖掘。

进行数据分析，就是要找到其中的规律，来指导我们的业务。因此数据挖掘的核心是挖掘数据的商业价值，也就是我们所谈的商业智能 BI。

3.数据可视化。

数据可视化可以让我们直观地了解到数据分析的结果。

五、如何学习

• 1.记录自己对知识点的理解；
• 2.用工具来表达对知识点的掌握，并用自己的语言记录这些笔记；
• 3.做更多的联系巩固自己的认知，熟悉对工具的使用；

六、数据分析基本概念

利用数据预测用户购物行为属于商业智能，积累顾客的消费行为习惯会存储在数据仓库中，

通过对个体进行消费行为分析总结出来的规律属于数据挖掘。

1.商业智能

商业智能的英文是 Business Intelligence，缩写是 BI。商业智能可以预测用户的行为

2.数据仓库

数据仓库的英文是 Data Warehouse，缩写是 DW。数据仓库将原有的多个数据来源中的数据进行汇总、整理而得。数据进入数据仓库前，必须消除数据中的不一致性，方便后续进行数据分析和挖掘。

3.数据挖掘

数据挖掘的英文是 Data Mining，缩写是 DM。

类重要的数据是元数据，那么它和数据元有什么区别呢？

4.元数据和数据元

元数据（MetaData）：描述其它数据的数据，也称为“中介数据”。

数据元（Data Element）：最小数据单元。

举个例子，比如一本图书的信息包括了书名、作者、出版社、ISBN、出版时间、页数和定价等多个属性的信息，我们就可以把这些属性定义成一套图书的元数据。

在图书这个元数据中，书名、作者、出版社就是数据元。

5.数据预处理

数据预处理包括：数据清洗、数据集成、数据变换

1.数据清洗

数据清洗是为了去除重复数据，去噪声（即干扰数据）以及填充缺失值；

2.数据集成

将多个数据源中的数据存放在一个统一的数据存储中；

3.数据变换

将数据转换成适合数据挖掘的形式