大数据
文章平均质量分 79
lvqianqian_blog
研究大数据开发以及机器学习算法
展开
-
hive基础知识
内容提要hadoop概述 hive概述 hadoop概述hadoop体系架构基于apache基金会下的一个开源项目,致力于开发一个可靠的、大规模的分布式计算框架。 用户可采用简单的计算模型在计算机集群下对大规模的数据进行分布式处理。 设计理念之一是扩展单一的服务器为成千上万机器的集群,且集群中每一个机器同时提供本地计算力和存储力。 hadoop框架是在应用层检测和处理硬...原创 2018-07-31 20:17:55 · 459 阅读 · 0 评论 -
spark概述
第二章 spark概述内容提要大数据背景 spark介绍 一、大数据行业背景 1、大数据时代背景随着计算机存储能力的提升和复杂算法的发展,近年来的数据量成指数型增长,这些趋势使科学技术发展也日新月异,商业模式发生了颠覆式变化。《分析的时代:在大数据的世界竞争》是2016年12月麦肯锡全球研究院(MGI)发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务...原创 2018-07-31 20:19:35 · 632 阅读 · 0 评论