- 博客(11)
- 资源 (16)
- 收藏
- 关注
原创 【Flink】一、Flink基础
大纲:Flink概述 Flink应用场景 Flink Layer Flink发展趋势 Flink应用程序运行方式 Flink和Spark、Storm的对比1、Flink概述1.1 Flink是什么官网:https://flink.apache.org/Apache Flink is a framework and distributed processing...
2020-02-21 10:33:54
733
原创 【Spark】五、Spark Streaming and DStream
大纲:Spark Streaming概述 DStream Spark StreamingWordCount1、Spark Streaming概述1.1什么是Spark StreamingSpark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Stream...
2020-02-21 00:47:02
264
原创 【Spark】四、Spark SQL and DataFrame
大纲:Spark SQL概述 DataFrame 以编程方式执行Spark SQL查询 DataFrame和MySQL的数据转换1、Spark SQL概述1.1什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。1.2为什么要学习Spark SQL...
2020-02-21 00:00:59
262
原创 【Spark】三、Spark RDD
大纲:RDD概述 创建RDD RDD编程API WordCount中的RDD1、RDD概述1.1什么是RDDRDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询...
2020-02-20 21:55:41
126
原创 【Spark】二、Spark集群搭建
1、机器部署准备两台以上Linux服务器,安装好JDK1.72、下载Spark安装包 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz3、上传、解压安装包上传spark-1.5.2-bin-hadoop2.6.t...
2020-02-20 21:37:40
206
原创 【Spark】一、Spark基础
大纲:什么是Spark 为什么要学Spark Spark特点 编写简单的Spark应用-WordCount1、什么是Spark官网:http://spark.apache.orgSpark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。...
2020-02-20 21:21:58
167
原创 【Storm】四、Storm程序并发机制、任务提交过程、消息容错机制
大纲:Storm程序的并发机制 Storm任务提交的过程 Storm消息容错机制1、Storm程序的并发机制1.1、概念Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只...
2020-02-20 16:27:55
373
原创 【Storm】三、Storm WordCount及分组策略
大纲: WordCount(词频统计) Stream Grouping详解1、WordCount1.1、功能说明设计一个topology,来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分:RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 SplitSentenceBolt:负责将单行文本记录(...
2020-02-20 16:02:31
143
原创 【Storm】二、Storm集群部署
大纲:集群部署的基本流程 集群部署的基础环境准备 Storm集群部署 Storm集群的常用操作命令 Storm集群的进程及日志查看1、集群部署的基本流程集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。注意:所有的集群上都需要配置hostsvi /etc/hosts192.168.239.128storm01zk01ha...
2020-02-20 15:40:54
319
原创 【Storm】一、Storm是什么?
大纲:离线计算是什么? 流式计算是什么? 流式计算与离线计算的区别? Storm是什么? Storm与Hadoop的区别? Storm的应用场景及行业案例 Storm的核心组件 Storm的编程模型 流式计算的一般架构图1、离线计算是什么?离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术:Sqoop批量导入数据、HDFS批量存储数据、Map...
2020-02-20 15:15:14
726
wxpay_studio_springboot.rar
2019-07-05
cocos2d android基础
2014-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人