大数据
文章平均质量分 82
Simple_Yang92
不忘初心~
展开
-
Hadoop大数据平台架构与实践
Hadoop的前世今生Google大数据技术:1.MapReduce:概念"Map(映射)"和"Reduce(归约)",它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数...原创 2018-05-02 19:45:12 · 4244 阅读 · 0 评论 -
Hive
1. 什么是数据仓库面向主题数据仓库本质上就是一个数据库。但是数据仓库还是有别于传统的数据库:数据仓库是一个面向主题的(按照一定主题进行组织的),集成的(数据来自于分散的操作性的数据),不可更新的(主要数据查询),随时间不变化的数据集合,他用于支持企业或组织的决策分析处理。2. 数据仓库的建立3. OLTP OLAP当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line trans...原创 2018-07-13 15:41:24 · 392 阅读 · 0 评论 -
scala学习总结
1. 变量的声明scala有两种变量:val和var,val相当于Java中的final变量,一旦被赋值就不能修改。var相当于java中的普通变量,其值可变constant为定义常量的关键字指定类型声明变量:2. scala的常用类型和条件表达式Scala的数值类型有7种:(无引用类型)Byte、Char、Short、Int、Long、Float和Double...原创 2018-07-25 14:36:54 · 1429 阅读 · 0 评论 -
写给大数据开发初学者的话
转自:http://lxw1234.com/archives/2017/01/832.htm导读第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习大数据的三个发展方向,平...转载 2018-06-25 18:59:29 · 380 阅读 · 0 评论 -
云计算之IasS、PasS、SaaS
越来越多的软件,开始采用云服务。云服务只是一个统称,可以分成三大类。IaaS:基础设施服务,Infrastructure-as-a-servicePaaS:平台服务,Platform-as-a-serviceSaaS:软件服务,Software-as-a-service参考文档:IaaS,PaaS,SaaS 的区别原文出处:如何理解云计算?很简单,就像吃货想吃披萨了...你一定听说过云计算中的三个...转载 2018-03-20 11:17:28 · 63063 阅读 · 8 评论