关闭

第50课 Spark 2.0项目概述

第一步:需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,                 数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁;  第二步:数据量、处理效率、可靠性、维护性、简洁性  第三步:数据建模  第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出的架构;  第五步:我会再次思考大数据系统和企业I...
阅读(361) 评论(0)

第16课:Scala implicits编程彻底实战

Scala,Implict,隐式转换...
阅读(347) 评论(0)

第13课 Scala模式匹配实战

Scala 模式匹配,DT...
阅读(114) 评论(0)

第13课Scala模式匹配实战

Scala 模式匹配...
阅读(178) 评论(0)

关于Extjs翻页问题解决

Extjs3.X 查询翻页...
阅读(626) 评论(0)

第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

本期内容 1. DStream与RDD关系彻底研究 2. Streaming中RDD的生成彻底研究...
阅读(281) 评论(0)

第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考

JobScheduler是SparkStreaming调度的核心,相当于Spark Core中高度中心的DAGScheduler。 StreamingContext的start方法 /** * Start the execution of the streams. * * @throws IllegalStateException if the StreamingContext i...
阅读(376) 评论(0)

第6课:Spark Streaming源码解读之Job动态生成和深度思考

1. DStream三种类型: 1) 输入的DStreams: Kafka,Socket,Flume; 2) 输出的DStreams,是一个逻辑级的Action,它是SparkStreaming框架提出的,底层还是会被翻译成物理级别的Action,所谓物理级别的Action是RDD的Action; 3) 中间的Transformation, 业务逻辑处理  2. 产生DStream...
阅读(183) 评论(0)

第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码

SparkStreaming,贯通Spark Streaming流计算框架,源码...
阅读(1497) 评论(0)

第4课:Spark Streaming的Exactly Once的事务处理

Exactly Once, Spark Streaming 事务,...
阅读(1243) 评论(0)

第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶

SparkStreaming...
阅读(1889) 评论(0)

第2课:通过案例对SparkStreaming透彻理解三板斧之二:解密SparkStreaming运行机制和架构

Spark Streaming运行机制...
阅读(499) 评论(0)

第1课:通过案例对SparkStreaming 透彻理解三板斧之一

Spark Streaming 在线黑名单过滤...
阅读(1011) 评论(0)

DT_大数据梦工厂 第18课 RDD持久化、广播、累加器

今天内容 1.RRD持久化实战 2.Spark广播实战 3.Spark累加器实战...
阅读(367) 评论(0)

DT_大数据梦工厂 第17课 RDD实战

今晚上课内容: 1 map、filter、flatmap操作回顾 2 reduceByKey、groupByKey 3 join、cogroup  join和cogroup是所有Spark学习者必须掌握的内容。 大数据中最重要的算子操作是:join!!!!! 以下是今天的项目实例及作业(用Scala写cogroup写一个实例)...
阅读(443) 评论(0)

DT_大数据梦工厂 第8课 彻底实战详解使用IDE开发Spark程序

2016/1/9 课堂笔录 Scala开发IDE:IDEA和 Eclipse。 开发系统:一般推荐Windows7 64位。 Eclipse开发      开发第一个Scala程序 第一步:修改依赖的Scala版本为Scala 2.10.x                Scala Library container: 2.10.6...
阅读(603) 评论(0)

DT大数据梦工厂- 第5讲 隐式转换和并发编程

**********  隐式转换 **********  1.隐式参数函数 >class Person(val name:String) >class Engineer(val name:String,val salary:Double) >new Person("Spark").code//调用Person的code方法出错,无此方法 >class ...
阅读(300) 评论(0)

DT大数据梦工厂- 第6课 精通Spark集群搭建与测试

20160106 课程笔记 Spark上流行的存储框架: Hadoop的 HDFS 和 S3 云存储 未来三至五年黄金组合框架:Spark+Tachyon+HDFS Tachyon: 基于内存的分布式文件系统, 不同来源的数据, 安装 VMWare 软件 电脑推荐16G: 两个 KINGSTON 8G,至少8G内存 系统推荐Ub...
阅读(533) 评论(0)

2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读

20160104 19:00-21:00 课程笔录 Scala模式匹配:可以对值,类型,集合进行匹配 (1)值匹配 // a. data值为Spark,Hadoop或其他时 def bigData(data: String){ data match {   case "Spark" => println("Wow!!!")   case "Hadoop" ...
阅读(388) 评论(0)

Spark内核天机解密(2016)第三讲 Scala函数式编程

作业:统计一个文件夹下面所有的单词出现的总次数 笔记: 变量与函数 >def fun1(name: String) {println(name)} fun1: (name: String)Unit >val fun1_v = fun1 _  //注意,是空格和下划线 fun1_v: String => Unit = >fun1("Spark") Spark >fun1_...
阅读(703) 评论(0)
27条 共2页1 2 下一页 尾页
    个人资料
    • 访问:16975次
    • 积分:424
    • 等级:
    • 排名:千里之外
    • 原创:26篇
    • 转载:1篇
    • 译文:0篇
    • 评论:0条