大数据
文章平均质量分 70
Chailyn_Gan
这个作者很懒,什么都没留下…
展开
-
初识大数据
这是我的第一篇大数据博客,主要是谈谈我今天学习的大数据内容。一、什么是大数据? 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。【取自搜狗百科】 ...原创 2018-03-27 23:46:35 · 275 阅读 · 0 评论 -
大数据采集
一、大数据的来源 1.人类活动 2.计算机 3.物理世界 二、大数据采集设备 1.科研数据 (1)大型强子对撞机 (2)射电望远镜 (3)电子显微镜 2.网络数据 我们可以利用数据中心采集网络中的数据。 三、大数据采集方法 1.科研数据 2.网络数据 爬虫(慎用) 3.系统日志 (1)Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大...原创 2018-04-03 14:52:12 · 8217 阅读 · 2 评论 -
大数据存储
一、云存储 1.概念:云存储是在云计算概念上的延伸和发展出来的一个新概念,是一种新兴的网络存储技术。 2.特点: 可靠性 可用性(多路径、控制器、不同的光纤网、RAID技术、端到端的架构控制/监控和成熟的变更管理过程等方案均可提高云存储可用性) 安全性 规范化 低成本 3.架构 ...原创 2018-04-30 21:06:48 · 13185 阅读 · 0 评论 -
大数据存储(二)
一、数据中心 1.概念:随着应用程序不断向服务器端靠拢和互联网服务的广泛普及,一种新的计算系统应运而生,人们称为数据中心,又称为仓库级计算。 2.特点: 数据中心注重性价比 数据中心实质上是许多服务器的集合,作为统一的计算单元来运行程序(如何设计系统架构是构建数据中心的关键) 一个数据中心还是多个数据中心 3.数据中心的演进 数据中心的发展阶段 1945~1971 大型机时代1...原创 2018-05-01 16:48:17 · 3010 阅读 · 0 评论 -
大数据计算平台
一、云计算 1.云计算的定义: 云计算是一种分布在大规模数据中心、能动态地提供各种服务器资源以满足科研、电子商务等领域需求的计算平台。 侠义云计算指IT基础设施的交付和使用模式; 广义云计算指服务的交付和使用模式。 2.云计算的核心思想:将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池,向用户按需服务。提供资源的网络被称为“云”。 3.云计算的特点: (1)超大规模 (...原创 2018-05-01 21:16:38 · 5680 阅读 · 0 评论 -
大数据分析
一、大数据分析的方法 1.布隆过滤器 布隆过滤器由一个位数组和一系列的哈希函数组成。 原理:通过利用位数组来存储数据本身之外数据的哈希值。位数组本质上是使用哈希函数来进行数据的有损压缩,从而存储其位图索引。 特点:空间效率高、查询速度快、具有一定的误识别率、删除困难 适用于:允许某种误识别率的大数据应用程序 2.散列法 将数据变换为较短的固定长度数值或索引值的基本方法 特点:快速读...原创 2018-06-09 22:17:50 · 617 阅读 · 0 评论