自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(114)
  • 资源 (26)
  • 论坛 (1)
  • 收藏
  • 关注

原创 SparkStreaming读写kerberos Hive(Yarn Cluster)

yarn Cluster模式也可适用于从集群外部提交(接口机)提交命令spark-submit的最后一行为args参数,经多次尝试发现yarn cluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点,yarn集群所有节点相同位置放置,container连接HDFS[kerber...

2019-05-15 14:33:02 525

原创 SparkStreaming读写kerberos HBase(Yarn Cluster)

yarn Cluster模式也可适用于从集群外部提交(接口机)提交命令spark-submit的最后一行为args参数,经多次尝试发现yarn cluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点,yarn集群所有节点相同位置放置,container连接HDFS[kerber...

2019-05-15 14:26:54 960 2

原创 SparkStreaming读写kerberos HDFS(Yarn Cluster)

yarn Cluster模式也可适用于从集群外部提交(接口机)提交命令spark-submit的最后一行为args参数,经多次尝试发现yarn cluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点,yarn集群所有节点相同位置放置,container连接HDFS[kerber...

2019-05-15 14:14:17 930

原创 SparkStreaming读写kerberos Kafka(Yarn Client、Yarn Cluster)

1

2019-05-15 13:51:26 1188

原创 Flink编程模型

4.1 抽象的层级有状态的数据流处理层。最底层的抽象仅仅提供有状态的数据流,它通过处理函数(Process Function)嵌入到数据流api(DataStream API). 用户可以通过它自由的处理单流或者多流,并保持一致性和容错。同时用户可以注册事件时间和处理时间的回调处理,以实现复杂的计算逻辑。核心API层,DataSet 处理有界的数据集,DataStream 处理有界或者无界的...

2019-04-24 20:27:40 380

原创 Flink核心组件

Flink系统的架构与Spark类似,是一个基于Master-Slave风格的架构。可以支持本地的快速迭代,以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点,如果要对比 Flink 和 Spark 的话,Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink,更容易出现 OOM的原因(out of memory)。就框架本身与应用场景来说,Flin...

2019-04-24 19:55:03 1414

原创 Flink分层架构

2.1 Flink结构与支持Flink是一个分层架构的系统,不同层的栈建立在其下层基础上,并且每一层所包含的组件都提供了特定的抽象,用来服务于上层组件。Flink分层的组件栈如下图所示(从下至上):部署:Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行, 也能部署在云上。运行:Flink 的核心是分布式流式数据引擎,意味着数据以一次一个事件的形式...

2019-04-24 19:21:44 571

原创 Flink简介

1.1 Flink的引入这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大数据的计算引擎分成...

2019-04-24 19:12:56 609

原创 Flink高可用集群搭建

一、部署说明flink是apache一款大数据实时计算应用,在生产环境中,用来实时计算应用产生的日志,数据等,满足预警,入库等需求二、系统环境系统版本:centos 7.2java版本: jdk 1.8.0_161zookeeper版本: zookeeper-3.4.9hadoop版本: Hadoop-2.8.3.tar.gzflink版本: flink-1.7.1四个机器,其中1...

2019-01-23 10:16:35 1864

原创 flink on yarn运行异常NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

flink on yarn模式在运行时发生如下异常信息18/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.018/0...

2019-01-22 21:05:07 2762

原创 Flink安装与运行——flink on yarn

Flink下载地址:https://flink.apache.org/downloads.html因目前Flink尚未集成hadoop2.9版本,因此选择2.7稳定版进行安装(兼容)以下操作请在集群的所有节点进行解压重命名$ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...

2019-01-22 20:57:57 9924

转载 ScalaTest——测试分类

6.1 Pending待测试占位符,方便记下一个想法,但是还没有实现或者还没准备好。待测试(Pending Test)这个思想我觉得在实际中会用的比较多。pending是一个占位符,可以将尚未实现或定义的测试以pending来填充。Pending Test实际上就是利用pending来将测试标记为TODO的。如下面的例子:class AlbumSpec extends FunSpec wit...

2018-10-25 09:23:07 735

转载 ScalaTest——Specifications行为规范

FunSepc,WordSpec,FeatureSpec,FreeSpec,FlatSpec大同小异,这里以FeatureSpec为例FeatureSpec是将测试分类为一系列的功能的测试。一个feature是软件的一个简单的功能点。每个功能将有该功能的多个场景(测试用例),每个场景代表一个成功的或者失败的测试案例。场景越多,测试越充分,健壮性越好。7.1 FunSpec下面的FunSpec...

2018-10-25 09:22:57 465

转载 ScalaTest——Fixtures

Fixture翻译成中文有这么些意思:固定装置;卡具;固定附物,固定附着物;固定财产,在ScalaTest中,可能会有这么一种情境:在一个测试类中,不同的测试方法需要的类实例、依赖等数据是一样的,显然,没必要为每个测试类去new一些它们专用的数据,可以提供一些公共的数据,然后在不同的测试方法中重用它们。要做到数据的重用,有很多方法:Scala语言自带的方法ScalaTest测试框架提供的解...

2018-10-25 09:22:48 288

原创 Spark通过JDBC加载部分数据、添加过滤条件

当我们需要使用SparkSQL通过JDBC方式连接MySQL、Oracle、Greenplum等来实现对数据的操作时,可能在某些情况下并不需要加载全量的数据表。例如:只需要其中的部分字段按照条件进行筛选后的数据此时就需要在JDBC连接时对option(“dbtable”, tablename)属性值进行修改,参看spark官网给出的属性介绍:(spark2.3 jdbc-to-other...

2018-10-25 09:22:31 2432

转载 ScalaTest——日志打印

5.1 Informers日志Informer在ScalaTest中是为了打印日志方便观察,跟debug语句很相似,但它可以放在任何地方来输出一些跟测试相关的信息。使用Informer只要调用info(String)方法即可。如下面的例子:import org.scalatest.{FunSpec, ShouldMatchers}class AlbumTest extends FunSpe...

2018-10-24 09:15:06 524

原创 ScalaTest——matcher匹配器

ScalaTest中的Matchers匹配器分为两大类:Should Matcher和Must Matcher。它们的区别仅在测试报告中体现,所以在后面不同情形下的Matcher的说明中,只以Should Matcher为例。3.1 简单匹配器Simple Matcher就是在两个值之间使用一个断言在测试代码里,我们作出了一个断言:Thriller这张专辑的作者的firstName是Mic...

2018-10-24 09:14:43 640

原创 ScalaTest——Assertion断言

ScalaTest默认在任何样式特征中都提供三个断言。您可以使用:assert 一般断言;assertResult 区分预期值和实际值;assertThrows 确保一些代码抛出预期的异常。ScalaTest的断言在特征中被定义,特征Assertions由Suite超级特征扩展到所有风格特征。特质Assertions还提供:assume有条件地取消测试;fail 无条件地测试失败...

2018-10-24 09:14:15 681

原创 ScalaTest——测试风格

建议使用 FlatSpec单元和集成测试以及 FeatureSpec验收测试。将FlatSpec作为默认选择,因为它与大多数开发人员熟悉的XUnit测试类似2.1 FunSuiteFunSuite可以轻松编写描述性测试名称,自然地编写集中测试,并生成类似规范的输出import org.scalatest.FunSuite//ScalaTest提供了名为FunSuite的特质重载了execu...

2018-10-24 09:14:03 2711

原创 ScalaTest——ScalaTest简介

1. ScalaTest简介ScalaTest几乎已经成为Scala语言默认的测试框架,而在JVM平台下,无论是否使用Scala进行开发,我认为仍有尝试ScalaTest的必要。这主要源于它提供了多种表达力超强的测试风格,能够满足各种层次的需求包括单元测试、BDD、验收测试、数据驱动测试。1. 1 UT与IT的风格选择ScalaTest一共提供了七种测试风格,分别为:FunSuite,Fla...

2018-10-24 09:13:52 1195

转载 linux中vim使用与快捷键介绍

VIM的运行模式编辑模式:等待编辑命令的输入插入模式:在编辑模式下,输入i 进入插入模式,输入修改文本内容 按ESC则由插入模式退回编辑模式命令模式:在编辑模式下,输入: 进入到命令模式:q 直接退出vi:wq 保存后退出vi: set number 在编辑器中显示行号: set nonumber 取消显示行号 : w 新的文件名称(另存为)...

2018-10-24 09:13:43 270

原创 linux输入ll命令各个字段的含义

ls -l(这个参数是字母L的小写,不是数字1)  这个命令可以使用长格式显示文件内容,如果需要察看更详细的文件资料就要用到ls -l这个指令。例如我在某个目录下键入ls -l可能会显示如下信息文件属性 文件硬链接数 拥有者 所属group 文件大小 建档日期 文件名drwx------ 2 Guest users 1024 ...

2018-10-24 09:13:31 1506 1

原创 Linux常用命令

1、命令字 [命令选项] [命令参数]注:三者之间要用空格隔开。其中命令选项分短格式和长格式:短格式使用“-”符号,如:-l;而长格式使用“--”符号,如:--help;还可以使用组合命令选项:如:-a –l可以组合成--al或--la。2、命令提示符“$”普通用户​ “#”管理员3、回车的使用​ 我们输完一个命令后,则要以回车符作为所输入命令的结束4、获得命令帮助​ (...

2018-10-24 09:13:23 87

原创 Linux系统目录简介

目录说明目录说明/dev设备文件保存目录/etc配置文件保存目录/tmp临时目录/mnt系统挂载目录/proc直接写入内存/usr工具资源目录/var系统相关文档内容/var/log/系统日志位置/lib动态链接共享库保存目录mnt/misc/media挂载目录,推荐使用mnt目录/boot启动目录...

2018-10-24 09:13:11 62

原创 Spark读写MySQL、Oracle、PostgreSQL、Greenplum

添加pom依赖<!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --><dependency> <groupId>com.pivotal</groupId> <artifactId>green

2018-10-24 09:13:01 2221

原创 斐波那契数列——java代码实现

定义数组方法public class Demo1 { public static void main(String[] args) { int arr[] = new int[20]; arr[0] = arr[1] = 1; for (int i = 2; i < arr.length; i++) { arr[i] = arr[i - 1] + arr[i - 2];...

2018-10-23 20:09:02 7573 2

原创 Spark Join——Broadcast Join、Shuffle Hash Join、Sort Merge Join

1. Broadcast Join在数据库的常见模型中(比如星型模型或者雪花模型),表一般分为两种:事实表和维度表。维度表一般指固定的、变动较少的表,例如联系人、物品种类等,一般数据有限。而事实表一般记录流水,比如销售清单等,通常随着时间的增长不断膨胀。因为Join操作是对两个表中key值相同的记录进行连接,在SparkSQL中,对两个表做Join最直接的方式是先根据key分区,再在每个分区中...

2018-10-23 20:06:50 2444

原创 spark运行机制

Client模式提交——Driver进程运行在客户端执行流程:用户启动客户端,之后客户端运行用户程序,启动Driver进程。在Driver中启动或实例化DAGScheduler等组件。 客户端的Driver向Master注册。Worker向Master注册,Master命令Worker启动Exeuctor。Worker通过创建ExecutorRunner线程,在ExecutorRunner线程...

2018-10-23 20:03:32 150

转载 Hive数据倾斜解决办法

http://www.mamicode.com/info-detail-500353.htmlmap/reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致某几个节点迟迟运行不完...

2018-10-23 20:01:53 483

原创 java代码实现求树的高度和节点数

求二叉树的高度public int getHeight(TreeNode node){ if(node == null){ return 0; } int i = getHeight(node.left); int j = getHeight(node.right); return (i<j)? j+1:i+1;}求二叉树的节点数public int getSize(...

2018-10-23 19:56:54 4143

原创 前序遍历、中序遍历、后序遍历代码实现——迭代与非迭代方式

迭代方式实现前序遍历——迭代public static void preOrder(TreeNode node){ if(node==null) return; System.out.println(node.getData()+" "); preOrder(node.left); preOrder(node.right); }中序遍历——迭代p...

2018-10-23 19:55:25 639

原创 二叉树遍历——深度优先遍历、广度优先遍历

二叉树遍历简介深度优先遍历:对每一个可能的分支路径深入到不能再深入为止,而且每个结点只能访问一次。对每一个可能的分支路径深入到不能再深入为止,而且每个结点只能访问一次。要特别注意的是,二叉树的深度优先遍历比较特殊,可以细分为先序遍历、中序遍历、后序遍历。具体说明如下:先序遍历:对任一子树,先访问根,然后遍历其左子树,最后遍历其右子树。中序遍历:对任一子树,先遍历其左子树,然后访问根,...

2018-10-23 19:41:03 6322 3

原创 链表与栈——数组入栈出栈、单链表翻转

数组入栈出栈class Stack{ private Object[] data = new Object[0]; //栈的内容 private int size = 0; //栈的元素个数 public boolean isFull(){ //判断栈是否满 return data.length == size; } public boolean isEmpty(){ //判断栈...

2018-10-23 19:21:23 222

原创 treeMap与treeSet

为了理解 TreeMap 的底层实现,必须先介绍排序二叉树和红黑树这两种数据结构。其中红黑树又是一种特殊的排序二叉树。排序二叉树排序二叉树是一种特殊结构的二叉树,可以非常方便地对树中所有节点进行排序和检索。排序二叉树要么是一棵空二叉树,要么是具有下列性质的二叉树:若它的左子树不空,则左子树上所有节点的值均小于它的根节点的值;若它的右子树不空,则右子树上所有节点的值均大于它的根节点的值...

2018-10-23 19:19:10 224

原创 HashMap原理与实现

HashMap是基于哈希表的 Map 接口的实现,以key-value的形式存在。系统会根据hash算法来来计算key-value的存储位置,可以通过key快速地存、取value。HashMap提供了三个构造函数: HashMap():构造一个具有默认初始容量 (16) 和默认加载因子 (0.75) 的空 HashMap。 HashMap(int initialCapacity)...

2018-10-23 19:13:01 94

原创 java两个变量的值交换

不使用中间变量,如何实现两个变量值得交换?采用异或的方法,转化为二进制之间的运算int a = 1;int b = 2;a = a^b; System.out.println(a); //3b = a^b; System.out.println(b); //1a = a^b; System.out.println(a); //2...

2018-10-18 09:14:13 393

原创 java面向对象——设计原则

1. 开闭原则 (open close principle)对扩展开放,对修改关闭。在程序需要进行扩展的时候,不能去修改原有的代码,即实现一个热拔插效果。为了使程序的扩展性更好,易于维护和升级。为了达到这样的效果,需要使用【接口和抽象】类去操作。例如:车的电路,尽量不要去改动,如果有预留的接口扩展功能,这是可以的。因为修改原来的代码,会更容易引入bugpublic class Pe...

2018-10-18 09:13:55 94

原创 单例设计模式

在某些场合中,一个类对外提供一个且只提供一个对象时,这样的类叫做单例类。编写单例类的模式/套路叫做单例设计模式,是编程经验的总结实现流程a.私有化构造方法,使用private关键字修饰。b.提供本类的引用作为成员变量,并使用private和static共同修饰。c.提供公有的get成员变量方法用于将本类对象返回出去。编程实现Singleton类,要求该类对外能得到且只能得到一个对象1....

2018-10-18 09:13:42 45

原创 java排序算法:冒泡排序、插入排序、选择排序、快速排序

1. 冒泡排序核心思想:相邻的元素进行比较,满足条件就进行交换。如果一趟排序中没有出现元素交换则排序完成。 a.比较相邻位置的两个元素,若第一个元素(左边)比第二个元素(右边)大,则交换元素的位置。 b.从开始的第一对元素一直到结尾的最后一对,经过这一轮,排在最后的元素将是这组元素的最大值。 c.重复步骤b持续对越来越少的元素进行两两比较,直到所有元素处理完毕为止。 ...

2018-10-18 09:13:16 137

原创 java查找算法:线性查找、二分查找

线性查找从前往后依次对比需要查找的数据,如果找到对应的元素,则返回元素的位置。 a.使用目标元素与样本数列中的第一个元素起依次比较大小; b.若找到与目标元素相等的元素,则表示查找成功; c.若目标元素与样本数列的所有元素比较完毕也没有找到相等的元素,则表示查找失败。1. 二分查找算法流程 a.假定样本数列中的所有元素都是从小到大排列的。 b.使用目标元素...

2018-10-18 09:13:03 629

Stream Processing with Apache Flink.pdf

该书基于flink1.7版本,由flink PMC编写,出版时间为2019年4月份,高清,非扫描版PDF,可编辑

2019-06-03

Spark大数据处理:技术、应用与性能优化

《Spark大数据处理:技术、应用与性能优化》高清pdf版,带完整详细目录

2019-01-23

从PAXOS到ZOOKEEPER分布式一致性原理与实践

《从PAXOS到ZOOKEEPER分布式一致性原理与实践》高清PDF,带书签目录

2019-01-23

Kafka技术内幕:图文详解Kafka源码设计与实现

《Kafka技术内幕:图文详解kafka源码设计与实现》高清PDF书籍,带书签目录

2019-01-23

hadoop技术内幕三件套

压缩包包含以下三本书籍: 《Hadoop技术内幕 深入解析common和HDFS》、 《Hadoop技术内幕 深入解析MapReduce》、 《Hadoop技术内幕 深入解析YARN》

2019-01-23

Apache Kylin权威指南

《Apache Kylin权威指南》pdf版,高清,带书签完整版。

2019-01-23

MySQL5.7从入门到精通

《MySQL5.7从入门到精通》高清pdf版本,带完整目录。。

2019-01-23

flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey

当flink on yarn模式运行时,发生如下异常信息,需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

2019-01-22

Flink基础教程

《flink基础教程》PDF,完整版,带详细书签, 内容高清

2019-01-22

Spark大数据实例开发教程-书签-完整版

Spark大数据实例开发教程,高清,带书签,完整版。。。。

2019-01-22

大数据之路:阿里巴巴大数据实践

阿里巴巴的大数据实践,阿里巴巴大数据系统架构,实现系统的高度扩展性、灵活性以及数据展现的高性能

2019-01-22

Scala程序设计第二版

作者: [美] Dean Wampler / [美] Alex Payne 出版社: 人民邮电出版社 译者: 王 渊 / 陈 明 出版年: 2016-3 页数: 500

2018-10-26

Greenplum Database JDBC Driver:greenplum.jar

使用jdbc连接greenplum database所需要的依赖jar包。

2018-10-17

快学Scala第二版

快学scala第二版PDF书籍,中文版,清晰,带完整目录。

2018-10-13

apache kafka实战pdf

本书是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景,对Kafka整个技术体系进行了较为全面的讲解,以便读者能够举一反三,直接应用于实践。同时,本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨,并给出了翔实的案例。本书共分为10章:第1章全面介绍消息引擎系统以及Kafka的基本概念与特性,快速带领读者走进Kafka的世界;第2章简要回顾了Apache Kafka的发展历史;第3章详细介绍了Kafka集群环境的搭建;第4、5章深入探讨了Kafka客户端的使用方法;第6章带领读者一览Kafka内部设计原理;第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优;第10章介绍了Kafka新引入的流式处理组件。

2018-10-13

hadoop2.7-common-bin

解决在Windows环境下运行hadoop、spark程序时Failed to locate the winutils binary in the hadoop binary path问题。 1.解压、2.配置环境变量(压缩包中包含配置文档)

2018-10-12

elasticsearch指南

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

2018-10-09

Spark大数据分析:核心概念、技术及实践

作者: [美] 穆罕默德.古勒 (Mohammed Guller) 出版社: 机械工业出版社 副标题: 核心概念、技术及实践 原作名: Big Data Analytics with Spark 译者: 赵斌 / 马景 / 陈冠诚 出版年: 2017-5 页数: 247 定价: 69.00元 装帧: 平装 丛书: 大数据技术丛书 ISBN: 9787111565611

2018-10-09

spark大数据分析实战

作者: 高彦杰 / 倪亚宇 出版社: 机械工业出版社 出版年: 2016-1-1 页数: 213 定价: 59.00元 装帧: 平装 ISBN: 9787111523079

2018-10-09

spark性能调节与优化

鉴于 Spark 基于内存计算这一天性,以下集群资源可能会造成 Spark 程序的瓶颈:CPU,带宽和内存。 通常情况下,如果内存足够的情况下,瓶颈只可能出现在网络带宽方面;但有时,你也需要做一些例如序列化优化来降低内存使用率。这份指导主要集中于两方面:数据序列化,这是充分提升网络表现和降低内存消耗、内存优化的关键;我们也会简要阐述一些小技巧。

2018-10-09

HBase不睡觉书(完整目录)

作者: 杨曦 出版社: 清华大学出版社 出版年: 2018-1-1 页数: 480 定价: 89 装帧: 平装 ISBN: 9787302490555

2018-10-09

spark性能调优

1.spark-config-and-tuning 2.spark-graphx-source-analysis 3.spark-ml-source-analysis 4.spark-programming-guide-zh-cn

2018-10-09

Flink学习书籍

该压缩包包含Flink学习相关的4本书籍和1个ppt 1.Apache-Flink 2.Introduction_to_Apache_Flink 3.基于BlinkSQL阿里实时计算平台 4.Packt.Mastering.Apache.Flink 5.Aljoscha-Krettek-The-Future-of-Apache-Flink

2018-10-09

Flink高可用集群部署

系统版本:centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本: Hadoop-2.8.3.tar.gz flink版本: flink-1.4.0

2018-10-09

Flink学习资料

附件:Flink-on-yarn部署指南 0、Flink基本原理与生产实践 1、Flink基本概念与部署 2、DataStreamAPI介绍与实战 3、Window与Time 4、Connector 5、Flink状态管理与恢复 6、Metrics与监控 7、Flink应用案例介绍 8、Druid基本概念以及架构设计 9、Druid数据存储与写入 10、Druid实践介绍

2018-10-09

apache kafka实战

Apache Kafka实战/胡夕著 本书是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景,对Kafka整个技术体系进行了较为全面的讲解,以便读者能够举一反三,直接应用于实践。同时,本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨,并给出了翔实的案例。本书共分为10章:第1章全面介绍消息引擎系统以及Kafka的基本概念与特性,快速带领读者走进Kafka的世界;第2章简要回顾了Apache Kafka的发展历史;第3章详细介绍了Kafka集群环境的搭建;第4、5章深入探讨了Kafka客户端的使用方法;第6章带领读者一览Kafka内部设计原理;第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优;第10章介绍了Kafka新引入的流式处理组件。

2018-10-08

修改下载分数

发表于 2018-10-15 最后回复 2018-10-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除