- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark之RDD
RDD概念与特性RDD是spark最重要的抽象。spark统一建立在抽象的RDD之上。设计一个通用的编程抽象，使得spark可以应对各种场合的大数据情景。RDD模型将不同的组件融合到一起，选用其中的几个/所有，可以应付各种不同的场景。解决了mr的缺陷 1. 弹性分布式数据集Resilient Distributed Dataset。 2. 只读分区数据集，final修饰的 3. 一个分布
2017-03-27 15:20:48
3865
3
原创 数据库与SQL语言
数据库综述SQL语言：结构化查询语言，用于操作数据库关系型数据库：一个二维表格，易于操作，容易理解，但是在操作海量数据的时候效率低。ACID特性。非关系型数据库：以键值对存储，结构不固定。不局限于固定的结构。 kv数据库 redis等文档数据库 mongodb等分布式数据库 hbase等SQL语言SQL语言是用关键字，表名，列名等组合而成的一条语句。SQL语句可以分成三大类 - D
2017-03-26 11:19:10
532
原创 spark工作机制
spark这里以wordcount程序为例，演示spark的基本流程和原理基本概念RDD：弹性分布式数据集。数据存放在各个节点上。spark对RDD进行操作。算子：各种操作/行动。spark中的函数 创建变换缓存行动spark架构分析application：用户编写的spakr程序，包含驱动程序和要运行的代码driver驱动程序：main创建sparkcontent，程序结束后负责
2017-03-23 16:58:32
3449
原创 函数式编程概述
概述函数式编程是一种编程模型，他将计算机运算看做是数学中函数的计算，并且避免了状态以及变量的概念。函数式编程的特点是简介，把控制权让渡给语言。 变量的不变性 高并发 sclaa，lisp，haskell等 多核并行程序设计就这样被推到了前线，而命令式编程天生的缺陷却使并行编程模型变得非常复杂，无论是信号量，还是锁的概念，都使程序员不堪其重。 函数是函数式编程的第一型。 在面向对象编程中，
2017-03-21 21:12:49
314
原创 spark综述
spark综述一个大数据处理框架spark是一个开源分布式计算框架，有着丰富的数据操作方法。不只有mr模型使用scala语言。同时支持python，java，R。可以运行在多个平台上spark特别适合机器学习，RDD特性，高容错通用性强，可以处理四大组件spark四大组件和核心功能：spark core spakrcontext：一切的对象都是他产生的 存储体系：内存不足的时候才会
2017-03-21 16:00:45
834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人