文科生脑回路也学得会| 数据分析自学笔记 0604

一、数据分析是什么

它是一种客观认知世界并改造世界的基础方法， 实用、高效、简单（O .S . 战略上藐视“敌人”，战术上重视“敌人”）。

关键词：观测、实验、应用

（一）观测

1.定义：指通过一些技术手段去获取数据并对数据进行分析&测量。

2.分类：

(1)观察：负责采集数据、储存数据、展示数据

①采集数据：

1) 采集方式

A.解析系统日志：我们所访问的网页/使用的APP无时无刻都在产生系统日志，日志中记录了程序运行的所有过程。

a.你看视频->产生日志（日志就会记录下你的用户ID&打开关闭这个视频的时间）->解析日志（此时只需要提取这些信息）->得到数据（3列：用户ID-开始时间-结束时间，这些在日志里面就有&如将时间相减，还能得到本次观看时长，如此即可基于运算得到一些新的数据了。）

b.日志记录新信息（如当前日志中并不存在你所需要的信息，我们还可自定义日志让它记录一些新的信息，我们可以让日志记录你观看视频的IP）->解析日志->（这样通过IP的解析就可以知道你的观看地址）->得到新数据（而整个基于系统日志新增数据的过程就称为埋点（P.S. 埋点是分析师获取新数据的主要方式，也是最可控、最可靠的方式）。）

B.通过传感器采集：所有真实世界里的数据，基本上都要通过传感器来进行采集。

例：

a.天气数据收集（无论是温度、气压还是湿度，都要用对应的传感器进行采集）

b.智能手环：它背后集成了诸多传感器，这些传感器的目的就是为了收集你的心率、血氧等数据。

C.“爬虫”

a.原理：解析别人呈现数据的网站，然后将数据一个个复制粘贴出来，和偷袭没区别。