排序:
默认
按更新时间
按访问量

SQL中的常用函数(一)

这里我们列举出来mysql中常用到的函数做一个简单的演示,很多函数经常是在嵌套使用,才可以实现需要的功能 本次主要介绍2个函数 case when…then… else …end substr() 用法简介 1. case when case when的作用是对不同情况的结果进行条件判断,作...

2018-11-16 11:18:30

阅读数:9

评论数:0

Spark学习(十一)---Spark streaming整合kafka

本次介绍sparkStreaming和kafka的整合,主要有两种方式 KafkaUtils.createDstream方式 KafkaUtils.createDirectStream方式(推荐使用) 1. 简单介绍 kafka作为一个实时的分布式消息队列,实时的生产和消费消息,这里我们可以...

2018-10-23 09:58:09

阅读数:25

评论数:0

Spark学习(十)---SparkStreaming和flume的整合

这次我们介绍SparkStreaming和flume的整合,flume作为日志实时采集的框架,可以与SparkStreaming实时处理框架进行对接,flume实时产生数据,sparkStreaming做实时处理。 Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将...

2018-10-23 09:27:33

阅读数:20

评论数:0

Spark学习(九)---Spark streaming常用演示

这次我们演示使用使用SparkStreaming对不同数据流读取的简单操作,以单词统计为例 接受socket数据,实现单词计数和实现累加 使用开窗函数统计时间段内的热词语 1. 实现单词计数WordCount 1. 1架构 1.2 实现流程 (1)安装并启动生产者 首先在linux服务器上...

2018-10-22 23:47:17

阅读数:25

评论数:0

Spark学习(八)---Spark streaming原理

这次我们介绍spark streaming,今天主要是原理和相关的操作 Spark Streaming概念介绍 Spark Streaming的相关操作 1. Spark Streaming概念 1.1什么是Spark Streaming Spark Streaming类似于Apache S...

2018-10-22 12:24:14

阅读数:29

评论数:0

Spark学习(七)---编程操作SparkSQL和关系型数据库读写

这次我们介绍以编程的方式进行sparkSQL的查询和关系型数据库读写,主要有 通过反射推断Schema 通过StructType指定Schema 使用SparkSQL编程操作HiveQL SparkSQL读取数据库文件 Spark向关系数据库写入 1. 编程操作SparkS...

2018-10-21 14:38:43

阅读数:41

评论数:0

Spark学习(六)---SparkSQL介绍

这次我们学习SaprkSQL,主要分三个部分 Spark SQL的原理 DataFrame数据结构和使用方式 DataSet数据结构和使用方式 1. Spark SQL 1.1 Spark SQL历史 Shark是一个为Spark设计的大规模数据仓库系统,它与Hive兼容。Shark建立在H...

2018-10-21 10:28:59

阅读数:120

评论数:0

Spark学习(五)---RDD原理解析和spark运行架构

这次我们介绍RDD的原理和spark运行机制 RDD依赖关系 RDD缓存 RDD容错机制 spark运行架构 spark任务调度 1. RDD原理 首先我们对之前的单词统计的代码做一个画图展示 1.1 RDD依赖关系 RDD和它依赖的父RDD的关系有两种不同的类型,即窄依赖(narrow ...

2018-10-20 19:16:05

阅读数:42

评论数:0

Spark学习(四)---人口密度监控案例

这次我们介绍人口密度计算的案例 在案例之前会有spark的scala统计点击流日志代码小案例。 1. 击流日志分析案例 1.1需求 下面的系列数据主要包括用户IP,浏览网址,时间,请求方式等,统计PV,UV,和被访问的TopN, 下面是一条样例数据 194.237.142.21 -...

2018-10-20 12:53:16

阅读数:34

评论数:0

Spark学习(三)---RDD原理和API

本次我们介绍RDD的原理和基本的AP RDD原理 RDD的API 1. RDD原理 1.1 什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集。 是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计...

2018-10-20 00:06:08

阅读数:34

评论数:0

Spark学习(二)--任务提交

这次我们主要介绍spark的任务提交的方式和代码的编写 spark的常用角色介绍 spark-shell 代码任务提交 1. spark常用的角色介绍 Spark 是基于内存计算的大数据并行计算框架。 因为其基于内存计算, 比Hadoop 中 MapReduce 计算框架具有...

2018-10-18 22:08:43

阅读数:31

评论数:0

Spark学习(一)--Spark入门介绍和安装

本次主要介绍spark的入门概念和安装 Spark概念 Spark特点 Spark安装 1. Spark概念 1.1 什么是Spark Spark 是一种快速、 通用、 可扩展的大数据分析引擎, 2009 年诞生于加州大学伯克利分校 AMPLab, 2010 年开源, 20...

2018-10-18 20:26:32

阅读数:34

评论数:0

诗歌---《回答》

最近听到B哥的一首诗朗诵《回答》,第一次被诗歌震撼到,在我的印象中诗歌一直是一个非常柔弱的感觉,但是在B哥的朗诵中,听出来非常强大的生命力。 后来搜索了一下是诗人北岛的做的诗,作于上世纪70年代,其中的背景不便多说,我分享一下这首诗 《回答》 卑鄙是卑鄙者的通行证 高尚是高尚者的墓志铭...

2018-10-18 15:26:16

阅读数:34

评论数:0

Scala入门第十二篇--Akka多节点通信实现

这次我们介绍Akka实现多节点通信,基本的Spark节点通信的构建 需求 利用Akka实现Spark多节点的通信 需求分析 业务逻辑分析 先启动master,然后启动worker 在worker端,通过在preStart方法拿到master的引用,就可以通过这个引用向master发送消息,将...

2018-10-17 23:02:52

阅读数:35

评论数:0

Scala入门第十一篇--Akka实现简易版的spark通信框架

本次我们介绍使用Akka实现简易的Spark通信框架,主要分为: Akka简介 提出需求 需求分析 代码示例 Akka简介 Akka基于Actor模型,提供了一个用于构建可扩展的(Scalable)、弹性的(Resilient)、快速响应的(Responsive)应用程序的...

2018-10-17 19:39:39

阅读数:30

评论数:0

Scala入门第十篇--隐式转换和隐式参数

这次我们介绍隐式转换和隐式参数,会做简单的代码示例 对于概念看不懂的童鞋,可以先去看看代码的示例 隐式转换 概念引入 在讲述之前我们先引入一个例子 scala> 1 to 10 res9: scala.collection.immutable.Range.Inclusive...

2018-10-17 12:45:25

阅读数:53

评论数:2

Scala入门第九篇--高阶函数

这次我们介绍Scala的高阶函数 高阶函数的概念 Scala混合了面向对象和函数式的特性,我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中,函数是“头等公民”,高阶函数我们主要介绍: 作为值的函数 匿名函数 柯里化 闭包 作为值的函数 可以像任何其他数据类型一样被传递和...

2018-10-17 12:32:35

阅读数:24

评论数:0

Scala入门第八篇--Scala Actor并发编程

本次主要介绍Scala Actor并发编程的基本概念和入门下案例 基本概念 Scala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息的发送、接收来实现高并发的。 Actor可以看作是一个个独立的实体,他们之间是毫无关联的。但是,他们可以通过消息...

2018-10-16 23:46:53

阅读数:33

评论数:0

Scala入门第七篇--变化和上下界

本次主要介绍Scala中的协变,逆变,非变和上下界 Scala中的协变、逆变、非变 协变和逆变主要是用来解决参数化类型的泛化问题。Scala的协变与逆变是非常有特色的,完全解决了Java中泛型的一大缺憾;举例来说,Java中,如果有 A是 B的子类,但 Card[A] 却不是 Card[B...

2018-10-16 22:42:03

阅读数:33

评论数:0

Scala入门第六篇--匹配模式和样例类

这次我们介绍Scala中的: 匹配模式 样例类 匹配模式 Scala有一个十分强大的模式匹配机制,可以应用到很多场合: 如switch语句、类型检查等。并且Scala还提供了样例类,对模式匹配进行了优化,可以快速进行匹配。 匹配字符串 import scala.util....

2018-10-16 21:38:34

阅读数:35

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭