- 博客(16)
- 收藏
- 关注
RSS订阅原创 ORM对象映射
在大数据开发中，我们很多时候需要从数据库中查询数据，然后建立数据库与对象之间的映射关系。下面我将以具体的示例讲述如何实现数据库记录与java对象的映射。import org.apache.commons.beanutils.BeanUtils;import java.sql.*;import java.util.ArrayList;import java.util.List;/** * date：2021-03-06 * desc: 从MySQL数据库中查询数据库的工具类，完成OR
2021-05-09 22:35:19
144
原创 Kafka Rebalance详解
1.rebalance概览rebalance中文含义为再平衡。它本质上是一组协议，它规定了一个 consumer group 是如何达成致来分配订阅 topic 的所有分区的。比方说Consumer Group A 有3个consumer 实例，它要消费一个拥有6个分区的topic，每个consumer消费2个分区，这就是rebalance。rebalance是相对于consumergroup 而言，每个consumer group会从kafka broker中选出一个作为组协调者（group coo
2021-04-14 21:56:25
12261
4
原创 Flink架构与执行流程
Flink核心架构如下图所示和Spark类似，Flink也是采用了Master-slave的主从架构模型，主要包含三个模块，Client，Jobmanager，TaskManager。下面我将依依介绍各个模块的功能。1.ClientClient 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。客户端可以作为触发执行 Java/Scala 程序的一部分运行，也可以在命令行进程./bin/fl
2021-04-12 23:01:45
599
原创 Flink内存管理与调优
配置flink进程的内存配置总内存Flink JVM 进程的*进程总内存（Total Process Memory）*包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。 其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。[外链图片转存失败,源站可能有防
2021-04-10 13:52:27
3403
原创 手把手教你使用Flink官网学习
人们都说官网是最好的学习资料，我想对于Flink这种眼下最为火热的大数据技术，这点尤为突出，目前Flink官网文档已经绝大部分都有中文翻译，且经过本人实际经历，阅读起来还是非常通畅的，并不像那种直接用谷歌或者百度翻译出来的结果。下面我就介绍一下如何使用Flink官网进行Flink相关技术的学习。1.进入官网https://flink.apache.org/首先进入Flink官网，官网首页有很多选项，有Flink简介，Flink下载，以及Flink文档等等，对于我们学习而言，最重要的就是Flink文档了
2021-04-09 10:28:22
4083
原创 Flink重启策略和故障恢复策略
当Flink的task发生故障的时候，Flink需要重启出错的task以及其他受到影响的task，以使得作业恢复到正常状态。Flink通过重启策略和故障恢复策略来控制task的重启，重启策略决定是否可以重启，故障恢复策略决定哪些task需要重启。重启策略Flink作业如果没有设置重启策略，则会遵循集群启动时加载的默认的重启策略。如果作业中设置了重启策略，则会覆盖默认的重启策略。通过Flink的配置文件flink-conf.yaml来设置默认的重启策略。配置参数restart-strategy定义了采取
2021-04-09 09:36:37
708
原创 XML相关介绍及使用
XML可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。在电子计算机中，标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种的信息比如文章等。它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。是Internet环境中跨平...
2019-06-04 21:12:31
139
原创 oracle中的select用法（二）
一.查询行（记录）where过滤行记录条件 ,条件有：a)、= 、 >、 <、 >=、 <=、 !=、 <>、 between andb)、and 、or、 not、 union、 union all、 intersect 、minusc)、null :is null、 is not null、 not is nulld)、like :模糊查询 % _...
2019-05-16 19:22:43
2068
原创 oracle学习之select查询段
1 、查询列( 字段)select distinct *|字段|表达式 as 别名 from 表 表别名SELECT * FROM 表名; 查询某个表中所有的记录的所有字段信息SELECT 列名 FROM 表名; 查询某个表中所有的记录的指定字段信息SELECT 列名1,列名2 FROM 表名; 查询某个表中所有的记录的字段1 字段2SELECT distinct 列名 FROM 表名;...
2019-05-15 08:26:44
264
原创 Java网络编程入门
一.IPIP: 定义网络上的不同节点(手机,电脑,路由器…)IPv4:32位 IPV6:128位非注册IP地址(公司内部使用): 192.168.0.0 ~ 192.168.255.255特殊的IP:127.0.0.1 本地IPlocalhost 本机域名DNS域名解析器：将域名解析成IP地址java.net 类 InetAddress 此类表示互联网协议 (I...
2019-05-13 23:48:16
192
原创 Map及HashMap和TreeMap详解
HashMap是java开发中最常用的集合框架之一，HashMap 可以说是 Java 中最常用的集合类框架之一，是 Java 语言中非常典型的数据结构，我们总会在不经意间用到它，很大程度上方便了我们日常开发。实现 Map 接口的类用来存储 键(key) －值(value) 对，Map 类中存储的键值对通过键来标识， 所以键值不能重复。Map接口的实现类有HashMap和TreeMap等。一....
2019-05-10 20:22:44
555
原创 java集合详解
今天我们主要来学习java中的容器相关的知识。按照从上往下依次学习Collection接口set接口，list接口以及map接口。Collection 接口是一组允许重复的对象。Set 接口继承 Collection，无序不允许重复,使用自己内部的一个排列机制,List 接口继承 Collection,有序允许重复，以元素安插的次序来放置元素，不会重新排列。Map 接口是一组成对的键值对象,即所持...
2019-05-09 23:27:06
164
原创 IO流
流是一种抽象概念，它代表了数据的无结构化传递。按照流的方式进行输入输出，数据被当成无结构的字节序或字符序列。用来进行输入输出操作的流就称为IO流。换句话说，IO流就是以流的方式进行输入输出。一.几个概念目的：读写文件中的内容流：一连串流动的数据,先进先出的方式传输信息,管道数据源 目的地–>以程序为中心划分读入写出二.流的分类1)按照流向分：输入流输出流2)按操作单元...
2019-05-08 19:02:04
144
原创 java异常入门
今天我们主要学习异常一.异常1.几个概念1).Error：错误，不需要程序员管理2).Exception：异常，所有异常的父类。3).Runtime Exception：运行时异常，增强程序的健壮性就可以处理一般运行时异常都会直接或者间接的继承自RuntimeException4).CheckException：编译异常，如果程序一旦出现检查时异常,程序必须要经过处理,否则无法运行。...
2019-05-06 22:22:06
137
原创 java零基础学习第九天
今天我们主要学习面向对象的最后一个知识点：接口，以及常用的一些设计模式，内部类以及Lambda表达式。一.接口接口是一种特殊的抽象类1.接口的优点：定义开发规范；提高代码的复用性；解耦；多实现类只能单继承2.公共的静态常量和方法在jdk1.7及之前接口中只能存在公共的静态的常量+公共的抽象方法1）公共的静态的常量：public static final 数据类型 变量名=赋值；修...
2019-05-05 23:31:29
105
原创 java零基础学习第七天
今天我们开始学习面向对象的编程方法，主要学习面向对象的思想和方法以及一些常用的关键字。一.面型对象概述1.面向过程的设计思想和面向对象的设计思想我要吃鱼香肉丝盖饭面向过程：我买菜，我洗菜，我切菜，我炒菜，我做饭。。。面向对象：我找一家饭馆，大声喊一声“我要一碗鱼香肉丝盖饭”，至于饭菜怎么来的我不管。所有的细节信息都封装在菜馆类的内部，我不需要关心里面到底有几道工序。2.面向对象的设计...
2019-04-29 21:06:17
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人