2016年05月_zisheng_wang_DATA

06月 05月 04月 01月

原创 Spark 定制版：010~Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

本讲内容：a. 数据接收架构设计模式 b. 数据接收源码彻底研究注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上一讲中，我们给大家具体分析了Receiver启动的方式及其启动设计带来的多个问题：a. 如果有多个InputDStream，那就要启动多个Receiver，每个Receiver也就相当于分片partition，那我启动Receiver

2016-05-30 22:58:14 2161

原创 Spark 定制版：009~Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考

本讲内容：a. Receiver启动的方式设想 b. Receiver启动源码彻底分析注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上一讲中，我们给大家具体分析了RDD的物理生成和逻辑生成过程，彻底明白DStream和RDD之间的关系，及其内部其他有关类的具体依赖等信息：a. DStream是RDD的模板，其内部generatedRDDs 保

2016-05-30 01:40:14 8858

原创 Spark 定制版：008~Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

本讲内容：a. DStream与RDD关系的彻底的研究 b. Streaming中RDD的生成彻底研究注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们重点给大家揭秘了JobScheduler内幕；可以说JobScheduler是整个Spark Streming的调度的核心，其地位相当于Spark Core中的DAGScheduler

2016-05-25 23:52:19 11254

原创 Spark 定制版：007~Spark Streaming源码解读之JobScheduler内幕实现和深度思考

本讲内容：a. JobScheduler内幕实现 b. JobScheduler深度思考注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们以JobGenerator类为重心，为大家左右延伸，解密Job之动态生成；并总结出了Job之动态生成的三大核心：a. JobGenerator: 负责Job生成b. JobSheduler:负责Job

2016-05-24 23:22:48 10926

原创 Spark 定制版：006~Spark Streaming源码解读之Job动态生成和深度思考

本讲内容：a. Spark Streaming Job生成深度思考 b. Spark Streaming Job生成源码解析注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，主要是从Spark Streaming+Spark SQL来实现分类最热门商品的在线动态计算的事例代码开始，并通过Spark源代码给大家贯通Spark Streami

2016-05-23 00:10:06 2626

原创 Spark 定制版：005~贯通Spark Streaming流计算框架的运行源码

本讲内容：a. 在线动态计算分类最热门商品案例回顾与演示 b. 基于案例贯通Spark Streaming的运行源码注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课主要从事务视角为大家探索Spark Streaming架构机制；Spark Streaming程序分成而部分，一部分是Driver，另外一部分是Executor。通过对Driv

2016-05-09 01:10:48 3875

原创 Spark 定制版：004~Spark Streaming事务处理彻底掌握

本讲内容：a. Exactly Once b. 输出不重复注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾:上节课通过案例透视了Spark Streaming Job架构和运行机，并结合源码进行了详细解说；同时也了解了Spark Streaming Job的容错机制，包括 Executor 与 Driver两方面的容错机制。也就是说Job的事务处

2016-05-09 00:13:58 9642 1

原创 Spark 定制版：003~Spark Streaming（三）

本讲内容：a. Spark Streaming Job 架构和运行机制 b. Spark Streaming Job 容错架构和运行机制注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾:上节课谈到Spark Streaming是基于DStream编程。DStream是逻辑级别的，而RDD是物理级别的。DStream是随着时间的流动内部将集合封装

2016-05-08 17:43:04 3658

原创 Spark 定制版：002~Spark Streaming（二）

本讲内容：a. 解密Spark Streaming运行机制 b. 解密Spark Streaming架构注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾:上节课谈到技术界的寻龙点穴，Spark就是大数据的龙脉，而Spark Streaming就是Spark的穴位。假如要构建一个强大的Spark应用程序，Spark Streaming 是一个值

2016-05-07 01:26:43 5001

原创 Spark 定制版：001~Spark Streaming（一）

Spark 定制版~Spark Streaming（一）本讲内容：a. SparkStreaming在线另类实验 b. 瞬间理解SparkStreaming的本质源码定制为什么从Spark Streaming切入？a. Spark 最初只有Spark Core，通过逐步的发展，扩展出了Spark SQL、Spark Streaming、Spark MLlib(machine learning)

2016-05-05 00:49:44 9113 2

数据科学入门

数据科学是一个蓬勃发展、前途无限的行业，有人将数据科学家称为“21世纪头号性感职业”。本书从零开始讲解数据科学工作，教授数据科学工作所必需的黑客技能，并带领读者熟悉数据科学的核心知识——数学和统计学。作者选择了功能强大、简单易学的Python语言环境，亲手搭建工具和实现算法，并精心挑选了注释良好、简洁易读的实现范例。书中涵盖的所有代码和数据都可以在GitHub上下载。

2018-02-08

TensorFlow+官方文档中文版.pdf

Google TensorFlow项目负责人Jeff Dean为该中文翻译项目回信称："看到能够将TensorFlow翻译成中文我非常激动，我们将TensorFlow开源的主要原因之一是为了让全世界的人们能够从机器学习与人工智能中获益，类似这样的协作翻译能够让更多的人更容易地接触到TensorFlow项目，很期待接下来该项目在全球范围内的应用!"

2018-02-07

面向机器智能的TensorFlow实践

本书是一本绝佳的TensorFlow入门指南。几位作者都来自研发一线，他们用自己的宝贵经验，结合众多高质量的代码，生动讲解TensorFlow的底层原理，并从实践角度介绍如何将两种常见模型——深度卷积网络、循环神经网络应用到图像理解和自然语言处理的典型任务中。此外，还介绍了在模型部署和编程中可用的诸多实用技巧。

2018-02-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人