大数据基础

什么是大数据

• 大数据( big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合;
• 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据5V特征

• 数据体量大 Volume
  ——采集数据量大
  ——存储数据量大
  ——计算数据量大
  ——TB、PB级别起步

• 种类、来源多样化 Variety
  ——种类:结构化、半结构化、非结构化
  ——来源:日志文本、图片、音频、视频

• 低价值密度
  ——信息海量但是价值密度低
  ——深度复杂的挖掘分析需要机器学习参与

• 速度快 Velocity
  ——数据增长速度快
  ——获取数据速度快
  ——数据处理速度快

• 数据的质量 Veracity
  ——数据的准确性
  ——数据的可信赖度

应用场景

• 电商领域
  精准广告位、个性化推荐、大数据杀熟

• 传媒领域
  精准营销、猜你喜欢、交互推荐

• 金融方面
  理财投资，通过对个人的信用评估，风险承担能力评估，集合众多理财产品、推荐响应的投资理财产品。

• 交通领域
  拥堵预测、智能红绿灯、导航最优规划

• 电信领域
  基站选址优化、舆情监控、客户用户画像