大数据
文章平均质量分 70
Simple_Zz
这个作者很懒,什么都没留下…
展开
-
什么是数据分析方法论
数据分析方法论确定分析思路需要以营销、管理等理论为指导。这些 跟数据分析相 关的营销、管理等理论统称为数据分析方法论。可以把方法论理解为指南针,在分析方法论的指导下我们才去开展数据分析,这样分析的结果才具有指导意义,而不会出现南辕北辙的情况。常用的数据几种数据分析方法:PEST分析法、5W2H分析法、逻辑树分析法、4P营销理论、用户行为理论。 数据分析方法论的重要性很多人在做数...原创 2018-09-04 09:26:21 · 13771 阅读 · 2 评论 -
MongoDB、Hbase、Redis等NoSQL分析
NoSQL的四大种类NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。目前大家基本认同将NoSQL数据库分为四大类:键值存储数据库,文档型数据库,列存储数据库和...原创 2019-01-03 19:27:03 · 347 阅读 · 0 评论 -
数据库 SQL 与 NoSQL 的区别与联系
NoSQL也称为Not only SQL可理解为,除关系型数据库以外的其他数据库系统的统称。特点,菲关系型、分布式、分布式、不提供ACID的数据库设计模式等特征。RDBMSRDBMS即关系数据库管理系统(Relational Database Management System),是将数据组织为相关的行和列的系统,而管理关系数据库的计算机软件就是关系数据库管理系统。NoSQL与...原创 2018-11-16 15:48:10 · 2933 阅读 · 1 评论 -
星型模型 与 雪花模型
星型模型和雪花模型在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。星型模型当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型。星型模型 星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接...原创 2018-10-10 09:49:01 · 2409 阅读 · 0 评论 -
数据库 与 数据仓库 区别
数据库与数据仓库的区别 了解数据库与数据仓库的区别之前,首先掌握三个概念。数据库软件、数据库、数据仓库。数据库软件:是一种软件,可以看得见,可以操作。用来实现数据库逻辑功能。属于物理层。 数据库:是一种逻辑概念,用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里可以有很多字段。字段一字排开,对应的数据就一行一行写入表中。数据库的表,在于能够用二维表现多...原创 2018-10-10 09:28:44 · 516 阅读 · 0 评论 -
网络拓扑 与 机器感知
网络拓扑在本地网络中,两个节点被称为“彼此近邻”是什么意思?在海量数据处理中,其主要限制因素是节点之间数据的传输速率,即带宽稀缺。这里的想法是将两个节点之间的带宽作为距离的衡量标准。不用衡量节点之间的带宽,实际上很难实现(它需要一个稳定的集群,并且在集群中两两节点对数量是节点数量的平方)。hadoop为此采用了一个简单的方法:把网络看作一棵树,两个节点之间的距离是他们到最近共同祖先的距离总...原创 2018-09-29 10:24:17 · 1062 阅读 · 0 评论 -
ETL工程师、数据挖掘工程师
ETL工程师Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格...原创 2018-09-04 11:39:20 · 1459 阅读 · 0 评论 -
大数据时代
大数据时代概述最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”随着互联网快速发展、智能手机以及“可佩带”计算设备的出现,我们的行为、位置,甚至身体生理数据等每一点变化都成为了 可被记录和分析的数据。这些新技术推动着大数据时代的来临...原创 2018-09-02 23:12:08 · 3496 阅读 · 0 评论 -
分布式系统与海量数据处理
科技发展带来的挑战在科技的快速发展推动下,在 IT 领域,企业会面临两个方面的问题。一是如何实现网站的高可用、易伸缩、可扩展、高安全等目标。为了解决这样一系列问题,迫使网站的架构在不断发展。从单一架构迈向高可用架构,这过程中不得不提的就是分布式。二是用户规模越来越大,由此产生的数据也在以指数倍增长,俗称数据大爆炸。海量数据处理的场景也越来越多。技术上该如何面对?分布式系统概述...原创 2018-09-02 23:02:33 · 5577 阅读 · 0 评论 -
什么是数据分析
数据分析 定义数据分析离不开数据,计量和记录一起促成了数据的诞生。伴随着数据记录的发展(尤其是技术),人类受益也越来越多,计算机出现带来的数字测量,更加大大的提高了数据化的效率。人们的重点也逐渐移向了记录下来的庞大数据,对这些数据进行研究、分析,以期获取更大的利益。数据分析是指用适当的统计分析方法对收集来的数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用...原创 2018-09-02 22:32:00 · 1836 阅读 · 0 评论 -
大数据与云计算的区别
大数据、云计算区别 关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化,大数据就是海量数据的高效处理 。虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是 Am...原创 2018-09-02 22:15:03 · 2661 阅读 · 0 评论 -
JavaEE与大数据的区别
架构层面:JavaEE体系:三层架构 表现层(Web) 业务层(service) 持久层(Dao)。 大数据体系:围绕数据 数据采集(数据源) 数据存储 数据计算(分析) 数据展示。 技术层面:JavaEE: 成熟 解决方案多 技术点集中。 大数据:相对年轻 迭代更新快 解决方案相对少 技术相当繁琐 杂、碎。 开发层面:JavaEE: 代码量很大 偏向业务 ...原创 2018-09-04 10:05:07 · 3550 阅读 · 0 评论 -
数据分析与数据分析方法论的区别
数据分析方法论主要用来指导数据分析师进行一次完整的数据分析,它 更多的是指数据分析思路,比如主要从哪几方面开展数据分析,各方面包含什么内容和指标?数据分析方法论主要 从宏观角度指导如何进行数据分析,它就像是一个数据分析的前期规划,指导着后期数据分析工作的开展。而数据分析法则是指具体的分析方法,例如我们常见的对比分析、交叉分析、相关分析、回归分析、聚类分析等数据分析法。数据分析法主要 从微观角...原创 2018-09-04 09:46:57 · 2949 阅读 · 1 评论 -
动态路由 与 静态路由
定义静态路由:是指路由器中设置固定的路由表,除非网络管理员进行干预,否则静态路由项不会发生变化。 动态路由:是指路由器能够自动建立路由表,根据网络中路由器之间通信,传递信息,利用收到的路由信息更新路由表。优点静态路由:简单、高效、可靠、网络安全、转发效率高、不占用网络带宽。 动态路由:灵活,能够自动适应网络结构的变化,无需管理员手工维护,减轻了管理员的工作负担。缺点静态路由:网...原创 2019-01-20 15:34:20 · 2823 阅读 · 1 评论