- 博客(76)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 typeof和instanceof的区别以及如何判断一个数组
首先要知道js的数据类型有六种： number，String，null（为空），undefined(未知的），boolean，object（Array属于object）typeof和instanceof都可以用来判断类型 区别如下：1.typeof： typeof会返回一个变量的基本类型，只有以下几种：number,boolean,string,object,undefined
2017-06-22 17:48:48
2423
转载 关于ie8浏览器的兼容性解决方案
1.ie6-ie8中不支持opacity透明度的解决方法: filter:progid:DXImageTransform.Microsoft.Alpha(opacity=70);2.ie8下json.stringify（）乱码： ie8内置了json对象，用以处理json数据。与标准方法不同的是，ie8的JSON.stringify会 把utf-8字符转码： 一般情况下，我
2017-06-22 17:09:00
1228
原创 Spark天堂之门
Spark天堂之门解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频本期内容： 1、Spark天堂之门 2、SparkContext使用案例借鉴 3、SparkContext内幕 4、SparkContext源码解密 一、Spark天堂之门 1、Spark程序在执行的时候分为Driver和Executor两部分； 2、Spa
2016-02-05 23:21:21
834
原创 Master HA彻底解密
Master HA彻底解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容： 1、MasterHA解析 2、Master HA的四种方式 3、Master HA的内部工作机制 4、Master HA的源码解析实际提交程序的时候，提交给作为Leader的Master；程序在运行前是粗粒度的资源分配模式，一般
2016-02-05 23:11:58
1885
原创 Spark RunTime内幕解密
第26课：SparkRuntime内幕解密本期内容：1 再论Spark集群部署2Job提交解密3Job的生成和接受4Task的运行5 再论Shuffle一、再论Spark集群部署1、从Spark Runtime的角度来讲由五大核心对象：Master、Worker、Executor、Driver、CoarseGrainedExecutorBackend;2、Spa
2016-02-05 22:55:55
1380
1
原创 Spark On Yarn彻底解密
Spark on yarn 彻底解密本期内容： 1、Hadoop yarn解密 2、Spark on yarn 解密一、Hadoop Yarn 解析 1、Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark，MapReduce、Storm等;
2016-02-05 22:27:25
4693
原创 Spark Sort-Based Shuffle内幕彻底解密
Spark Sort-Based Shuffle内幕彻底解密本期内容：1 为什么使用Sort-Based Shuffle2 Sort-Based Shuffle 实战3 Sort-Based Shuffle 内幕4 Sort-Based Shuffle的不足一、为什么需要Sort Based Shuffle
2016-02-01 07:53:43
3545
原创 Hash-based Shuffle内幕彻底解密
Hash-based Shuffle内幕彻底解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频本期内容：1 Hash Shuffle彻底解密2 Shuffle Pluggable解密3 Sorted Shuffle解密4 Shuffle性能优化Shuffle：基本形态是将具有共同特征的一类数据洗牌后放在同一个
2016-02-01 07:40:12
1350
原创 从物理执行的角度透视Spark Job
从物理执行的角度透视Spark Job视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容：1 再次思考pipeline2 窄依赖物理执行内幕3 宽依赖物理执行内幕4 Job提交流程思考一：pipeline（计算两种方式）
2016-01-30 18:41:54
657
原创 RDD的依赖内部解密
RDD的依赖内部解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容： RDD依赖关系的本质 依赖关系下的数据流程图 窄依赖：每个父RDD的Partition最多被子RDD的一个Partition所使用（例如map和filter、union）；宽依赖：每个父RDD中的Pa
2016-01-30 18:36:25
643
原创 从Spark架构中透视job
从Spark架构中透视job视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容：１、通过案例观察Spark架构２、手动绘制Spark内部架构３、Spark Job逻辑视图解析４、Spark Job的物理视图解析从Master角度讲： 1、管理CPU、MEM等资源（也考虑网络）
2016-01-30 18:26:34
583
原创 Linux Shell编程进阶案例实战（三）
Linux Shell编程进阶案例实战（三）本期内容：1 Linux Shell的控制结构实战2 Linux Shell的函数3 Linux Shell最佳实践4 Linux Shell在大数据中的应用if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "
2016-01-30 10:30:26
1438
原创 Linux Shell零基础案例实战（二）
本期内容：1 Linux Shell的变量2 Linux Shell的控制结构3 Linux Shell的函数4 Linux Shell在大数据中的应用三、shell中变量和引用实战1、变量可以分为三种类型， 1）本地变量：只在当前shell生命周期内有效； 2）环境变量：指在用户登录到注销对于所有的编辑器、脚本、进程都有效；
2016-01-30 08:31:13
754
原创 linux shell编程零基础入门
Linux Shell零基础案例实战（一）本期内容：1 Linux Shell的变量2 Linux Shell的控制结构3 Linux Shell的函数4 Linux Shell在大数据中的应用查看bash版本：root@Master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin#
2016-01-30 06:15:58
1534
原创 Top N 算法
Top N算法本期内容： 1、基础Top N 算法 2、分组Top N算法 3、排序算法 RangePartitionTop N（首先实现排序算法，一般否较为复杂），分组Top N 常见的算法。（只要是改变每一行列的数据，一般都是用Map操作）/** * Created by css-kxr on 2016/1/
2016-01-27 08:23:26
2465
原创 Spark高阶排序算法
第十九课：Spark高级排序算法彻底解密本期内容：1、基础排序算法2、二次排序算法3、更高级排序算法4、排序算法内幕准备：启动Hadoop：./start-dfs.sh启动history：./start-history-server.sh 启动spark：./start-all.sh启动spark-shell（实现广告点
2016-01-27 08:16:55
1226
原创 Hadoop生态系统窥探
大数据生态系统Hadoop+Spark=最有前途的大数据技术黄金组合！Hadoop完成了大数据时代基础设施的建设！Spark聚焦于一体化多元化的（大）数据通用计算框架！
2016-01-27 08:01:04
499
原创 RDD持久化、广播、累加器
RDD持久化、广播、累加器本期内容：1 action实战2 RDD持久化剖析及实战3 广播和累加器实战启动HDFS启动Spark-all.sh查看http://Master:18080启动Spark-shell 进行测试启动后，开始对action的操作（reduce、count、collect、saveAsTextFile、take、
2016-01-24 17:59:46
2357
2
原创 RDD案例实战
本期内容：1 map、filter、flatmap操作回顾2 reduceByKey、groupByKey3 join、cogroup以上算子都是lazy的，count 、collect、saveAsTextFile等是action对于的算子（1）map操作（将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的
2016-01-23 10:17:25
1211
原创 RDD实战
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark、GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（S
2016-01-21 06:46:17
1073
原创 常见创建RDD的方法
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-20 08:17:20
4651
原创 RDD内部解密
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-20 07:50:43
1491
原创 Spark内核架构解密
本期内容：1 通过手动绘图的方式解密Spark内核架构2 通过案例来验证Spark内核架构3 Spark架构思考一、详细剖析Spark运行机制（1）Driver端架构Driver部分代码包含了SparkConf+SparkContext，基本一切应用程序代码由Driver端的代码和分布在集群其他机器上的Executor代码组成（textFile flatMap map）
2016-01-17 09:23:22
1347
1
原创 HA下的Spark集群工作原理解密
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-16 11:23:53
1269
1
原创 WordCount背后的数据流
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-15 00:09:08
1101
原创 大数据密训第九课：IDEA下开发Spark程序
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-11 14:20:21
1055
原创 Local模式下开发第一个Spark程序并运行于集群环境
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-10 08:09:07
3370
原创 大数据系列第七课：RDD于Spark运行机制
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（Spark超大规模
2016-01-09 13:45:52
1034
原创 大数据系列第六课：Spark集群环境搭建
第一阶段：Spark streaming、spark sql、kafka、spark内核原 理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能 优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个 阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高手，笑傲大数据之林！第一部分：学
2016-01-08 19:09:37
1116
原创 大数据系列第五课：scala高阶
第一阶段：Spark streaming、spark sql、kafka、spark内核原 理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能 优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个 阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高手，笑傲大数据之林！第一部分：学
2016-01-06 13:28:01
744
原创 大数据系列第四课：scala高阶
第一阶段：Spark streaming、spark sql、kafka、spark内核原 理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能 优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个 阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高手，笑傲大数据之林！第一部分：学
2016-01-05 08:53:25
1105
原创 大数据系列第三课：scala中阶
第一阶段：Spark streaming、spark sql、kafka、spark内核原 理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能 优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个 阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高手，笑傲大数据之林！第一部分：学
2016-01-04 07:04:12
835
原创 大数据系列第二课：scala基础
第一阶段：Spark streaming、spark sql、kafka、spark内核原 理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能 优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个 阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高数，笑傲大数据之林！第一部
2016-01-03 14:08:54
2856
原创 大数据系列第一课：scala基础
第一阶段：Spark streaming、spark sql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高数，笑傲大数据之林！第一部分：学习笔
2016-01-02 01:18:45
1207
原创 scala-46： ClassTag 、Manifest、ClassManifest、TypeTag代码实战及其在Spark中的应用源码解析
内容：1、ClassTag、Mainfest、ClassManifest、TypeTag实战2、ClassTag、Mainfest、ClassManifest、TypeTag在Spark中的广泛应用 def arrayMake[T : Manifest](first : T, second : T) = { val r = new Array[T](2); r(0)
2015-12-22 19:23:16
688
原创 scala-45：Scala中Context Bounds代码实战及其在Spark中的应用源码解析
内容：1、Context Bounds的代码实战2、Context bounds在Spark中的广泛使用class Pair_Ordering[T : Ordering] (val first : T, val second : T){ def bigger(implicit ordered: Ordering[T]) = { if (ordered.compare(fir
2015-12-22 19:17:20
412
原创 scala-44：Scala中View Bounds代码实战及其在Spark中的应
内容：1、View Bounds的代码实战2、View bounds在Spark中的广泛使用class Pair_NotPerfect[T <% Comparable[T]](val first : T,val second : T){ def bigger = if(first.compareTo(second) > 0)first else second }class P
2015-12-21 19:18:18
495
原创 scala-43：Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析
内容：1、Scala中的类型变量Bounds代码实战2、泛型变量Bounds在Spark中的应用class Pair[T <: Comparable[T]](val first : T,val second : T){ def bigger = if(first.compareTo(second) > 0)first else second }class Pair_Lower
2015-12-21 17:37:10
422
原创 scala-42：Scala中泛型类、泛型函数、泛型在Spark中的广泛应用
内容：1、scala的泛型类代码实战2、Scala中泛型函数代码实战3、Scala中泛型在Spark中的使用 通过List[+A]源码可以看出，list后面的[+A],A为未指明的类型，即类型是泛型， class Triple[F,S,T](val first:F,val second:S,val third:T) 构造泛型类Triple，它的构造器中有三个参数
2015-12-21 13:08:20
916
原创 scala-41：List继承体系实现内幕和方法操作源码揭秘
内容：1、List的继承体系分析和源码解读2、List方法操作源码解读实战 val list : List[Int] = List(1,2,3,4,5) val listAny : List[Any] = list println(list.isEmpty) println(list.head) println(list.tail)
2015-12-21 12:42:02
509
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人