- 博客(28)
- 收藏
- 关注
原创 第50课 Spark 2.0项目概述
第一步:需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机, 数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁; 第二步:数据量、处理效率、可靠性、维护性、简洁性 第三步:数据建模 第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出的架构; 第五步:我会再次思考大数据系统和企业I
2016-09-20 21:25:48 665
原创 第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本期内容1. DStream与RDD关系彻底研究2. Streaming中RDD的生成彻底研究
2016-06-01 18:34:50 501
原创 第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
JobScheduler是SparkStreaming调度的核心,相当于Spark Core中高度中心的DAGScheduler。StreamingContext的start方法/** * Start the execution of the streams. * * @throws IllegalStateException if the StreamingContext i
2016-05-30 22:58:37 570
原创 第6课:Spark Streaming源码解读之Job动态生成和深度思考
1. DStream三种类型:1) 输入的DStreams: Kafka,Socket,Flume;2) 输出的DStreams,是一个逻辑级的Action,它是SparkStreaming框架提出的,底层还是会被翻译成物理级别的Action,所谓物理级别的Action是RDD的Action;3) 中间的Transformation, 业务逻辑处理 2. 产生DStream
2016-05-29 12:54:53 360
原创 第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码
SparkStreaming,贯通Spark Streaming流计算框架,源码
2016-05-08 14:17:51 1706
原创 第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶
SparkStreaming
2016-05-07 15:49:09 2155
原创 第2课:通过案例对SparkStreaming透彻理解三板斧之二:解密SparkStreaming运行机制和架构
Spark Streaming运行机制
2016-05-07 14:08:57 719
原创 DT_大数据梦工厂 第17课 RDD实战
今晚上课内容:1 map、filter、flatmap操作回顾2 reduceByKey、groupByKey3 join、cogroup join和cogroup是所有Spark学习者必须掌握的内容。大数据中最重要的算子操作是:join!!!!!以下是今天的项目实例及作业(用Scala写cogroup写一个实例)
2016-01-22 23:01:57 646
原创 DT_大数据梦工厂 第8课 彻底实战详解使用IDE开发Spark程序
2016/1/9 课堂笔录Scala开发IDE:IDEA和Eclipse。开发系统:一般推荐Windows7 64位。Eclipse开发 开发第一个Scala程序第一步:修改依赖的Scala版本为Scala 2.10.x Scala Library container: 2.10.6
2016-01-10 16:42:09 906
原创 DT大数据梦工厂- 第5讲 隐式转换和并发编程
********** 隐式转换********** 1.隐式参数函数>class Person(val name:String)>class Engineer(val name:String,val salary:Double)>new Person("Spark").code//调用Person的code方法出错,无此方法>class
2016-01-06 23:40:01 582
原创 DT大数据梦工厂- 第6课 精通Spark集群搭建与测试
20160106 课程笔记Spark上流行的存储框架: Hadoop的 HDFS 和 S3 云存储未来三至五年黄金组合框架:Spark+Tachyon+HDFSTachyon: 基于内存的分布式文件系统, 不同来源的数据,安装VMWare 软件电脑推荐16G: 两个 KINGSTON 8G,至少8G内存系统推荐Ub
2016-01-06 23:24:09 777
原创 2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读
20160104 19:00-21:00 课程笔录Scala模式匹配:可以对值,类型,集合进行匹配(1)值匹配// a. data值为Spark,Hadoop或其他时def bigData(data: String){data match { case "Spark" => println("Wow!!!") case "Hadoop"
2016-01-05 01:25:14 586
原创 Spark内核天机解密(2016)第三讲 Scala函数式编程
作业:统计一个文件夹下面所有的单词出现的总次数笔记:变量与函数>def fun1(name: String) {println(name)}fun1: (name: String)Unit>val fun1_v = fun1 _ //注意,是空格和下划线fun1_v: String => Unit = >fun1("Spark")Spark>fun1_
2016-01-04 06:08:41 1020
原创 2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程,学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。关于第二讲的作业,读懂Spark Context和RDD至少70%代码的源码。
2016-01-03 14:56:17 520
原创 EXTJS 根据值显示不同图片
业务需求:根据后台取出的STATUS值,画面显示不同图片值为:Green,Red,Yellow图片名为:Green.jpg,Red.jpg,Yellow.jpg -------js部分-------...items: [ { //后台带回的值 xtype: 'hidden', fieldLabel: 'Status',
2013-07-09 16:24:11 730
原创 取随机的商品代码 5 个
(1)SELECT SHOHINCD FROM MMSYHINMASTER SAMPLE BLOCK(5) WHERE COMPANYID = 'F1' AND DELETECLASS = '0' AND ROWNUM (2)SELECT SHOHINCD from (select * from MMSYHINMASTER
2012-12-04 14:19:09 345
原创 select DATA FROM THE SIXTH TO TENTH(ORACLE)
<br />ORACLE SQL 分页取6~10条数据<br /> <br />/*失败版本*/<br />/*get data (from the sixth to the tenth*/<br />select T.*<br /> from (select b.*, ROWNUM <br /> from (select *<br /> from T_JOB<br /> where company_cd = 'S'<br
2010-11-04 16:29:00 396
转载 about spring applicationContext.xml
<br />applicationContext.xml 详细配置[二]<br />Spring的applicationContext.xml文件 <br />applicationContext.xml 详细配置[一]J2EE及框架 2008-09-17 11:33 阅读1003 评论0 字号: 大大 中中 小小<!-- applicationContext.xml --> <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE be
2010-11-04 16:22:00 505
原创 【This field BeanName.xxx is never read locally】
问题消息 This field BeanName.xxx is never read locally【BeanName.java】private String place_of_delivery_cd;public void setPlace_of_delivery(String place_of_delivery) { this.place_of_delivery = place_of_delivery;}public String getPlace_of_delive
2010-07-05 16:55:00 1969
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人