排序:
默认
按更新时间
按访问量

spark源码分析and结构拆解(1)——消息通信原理!!

消息通信原理主要分为三大部分------------------------------------------------1.spark消息通信架构-------------------------------------------------------    spark在各个模块中间例如M...

2018-06-20 08:22:26

阅读数:199

评论数:0

spark概念详解以及四大核心介绍!!!

Spark特点:大数据分布式计算框架,内存计算分布式计算内存计算 中间结果在内存 迭代容错性多计算范式四大核心扩展功能: Spark SQL:Sql on hadoop系统,提供交互式查询、能够利用传统的可视化工具 在Spark上进行类似SQL的查询操作,报表查询等功能 GraphX:图计算引擎,...

2018-06-19 15:12:17

阅读数:133

评论数:0

Spark的转换操作基础知识和一些使用技巧!!!(Unit3)

在阅读完最早之前的帖子(点击打开链接)说了如何理解RDD和什么是RDD和对一些基础的术语的解读示例,然后我又发了一份如何创建RDD(点击打开链接)我们这节课来学学习Spark的一些对RDD的转换操作,转换操作就是不会真的进行分布式计算,而是将RDD从一种状态转换到另外一种状态,延迟计算,当一个RD...

2018-06-14 15:55:24

阅读数:807

评论数:0

spark的一些难以理解和一些冷门知识的解读(面试可能会问!!)(Unit1)

这篇文章是对于还没有入门和刚刚入门的spark小白提的,大佬可以给出意见,本人接受!!!关于RDD部分,首先你要知道什么什么RDDRDD字面意思就是弹性分布式数据集。。。。。。。(百度一下都是这种字眼很让人反感)个人感觉应该要分开理解1。弹性            1. RDD可以在内存和磁盘之间...

2018-06-12 16:49:21

阅读数:898

评论数:0

小白spark学习感悟 AND spark两大版本的比较!!!

Spark2.x 与 Spark1.x 关系Spark2.x 引入了很多优秀特性,性能上有较大提升,API 更易用。在“编程统一”方面非常惊艳,实现了离线计算和流计算 API 的统一,实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spar...

2018-06-04 20:18:09

阅读数:882

评论数:1

关于解决使用sqoop导出数据到mysql中文乱码问题!!!

当我们使用mysql的时候一般情况下都会出现乱码情况,出现这种情况的主要原因一般就是导入的数据和mysql数据的原始编码方式不同造成的,下面就是我的乱码案例:咱们先看下自己的编码表一般输入下面这个命令:show variables like 'character%';能查看到以下内容不管你的是不是...

2018-06-03 10:44:23

阅读数:879

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭