大数据与Hadoop(1)

大数据的由来

随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网、物联网建设的加快,信息’更是爆炸式增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题

什么是大数据

【1】定义
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
【2】总结
大数据是指即从各种各样类型的数据中，获得有价值的信息
分布式存储，分布式计算

大数据特性

【1】大体量(Volume)
规模数据体量大,一般从TB级别开始计算,可从数百TB到数十数百PB甚至EB的规模
КB, MB, GB, TB,PB, EB …
1KB = 1024Bytes
1MB = 1024K
1GB = 1024M
1TB = 1024G
1PB = 1024T
1EB = 1024P
【2】多样性(variety)
数据的种类和来源多
【3】时效性(Velocity)
很多大数据需要在一定的时间限度下得到及时处理
【4】准确性(Veracity)
处理的结果要保证一定的准确性
【5】大价值(Value)
大数据包含很多深度的价值，大数据分析挖掘和利用将带来巨大的商业价值
【补充】
数据的价值密度越来越低，但是这并不意味着想要的数据越来越少，相反我们想要的数据是越来越多，但是样本总量的增长速度是要高于想要的数据的增长速度的

带来的问题

【1】数据存储问题-存储速度、存储空间
【2】数据计算|分析问题-性能与效率问题

大数据与Hadoop

【1】Hadoop是什么？
1.1) Hadoop是一种分析和处理海量数据的软件平台
1.2) Hadoop是一款开源软件,使用JAVA开发 JDK
1.3) Hadoop可以提供一个 分布式 基础架构
numpy - 数据分析
pandas - 数据分析
hadoop - 数据存储与数据分析 体量大 与 numpy pandas 不是一个级别
能解决什么问题？
1.海量数据存储问题
2.海量数据的计算 分析 提取问题