大数据技术基础知识总结五

• 数据采集
  • 介绍
    • 从业务场景中获取原始数据，并把这些数据收集聚合起来，传输到我们的服务器上进行存储
  • 方式
    • 传感器
      • 依赖于各种各样的硬件设施
    • 爬虫采集
      • 爬虫所获取的属于站外数据
    • 日志采集
      • 数据类型
        • 事件
          • 曝光事件
            • 一个 item 或者一个页面被展示出来，就称作曝光
          • 点击事件
            • 用户在 App 中的点击行为
          • 用户停留事件
            • 一个用户在某个页面，或者某种情况下停留的时间
        • 属性
          • 属性的收集往往是一次性的
      • 数据埋点
        • 埋点困难
          • 来源众多
          • 页面众多
          • 数据格式各不相同
        • 埋点方式
          • 手动埋点
            • 程序员手动地去增加代码
            • 好处就是没有其他的开发量
            • 缺点也显而易见，随着业务的增长，埋点的需求必然是一个接一个，程序员做了大量相似的开发
          • 半自动埋点
            • 通常出现在产品已经基本成熟的时期。整理出一套常用的埋点方案，并把这套方案嵌入到业务代码中
          • 全自动埋点
            • 从最基本的事件和属性出发，把所有的东西都纳入埋点的范畴，事无巨细地记录下来
        • 埋点标准
          • 同一个事件、同一个属性坚持只有一个埋点的原则
        • 框架

          •