xiaoppt-CSDN博客

原创 flink架构设计与运行流程剖析

一、架构设计架构设计各层及相关术语说明物理层解决flink的部署模式的问题支持多种部署模式:本地,集群,云及k8s 用户可以根据不同的场景选择不同的部署模式核心层是flink的核心实现层,负责为上层的接口提供服务 Runtime flink的核心计算 Optimizer 负责任务的优化 Stream Buider 负责对任务进行DAG优化 API层面向用户,负责更好的用户开发体验提供了流计算和批处理..

2021-12-04 20:11:09 237

原创 flink初识

一、产生背景实时流数据增多 : 互联网应用快速发展,实时流数据日益增多价值更大: 实时流数据的处理和挖掘带来的价值比离线数据处理要多大厂需求 : 各大互联网厂商需要一个能够快速响应和处理大规模实时流数据的技术其他流处理引擎不能够满足需求 : storm/jstorm,sparkstreaming等优秀的流处理引擎要求：低延时,高吞吐,容错性好,窗口时间语义化,编程效率高,运行效果好storm/jstor 优点：低延时缺点：其他的都差一些 sparkstreaming.

2021-12-02 20:56:20 186

原创 Spark初识

一、定义与特点定义专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点速度快内存计算下，Spark 比 Hadoop 快100倍易用性 80多个高级运算符跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性 Spark 提供了大量的库，包括SQL、DataFrames、MLib、GraphX、Spark Streaming。开发者可以在同一个应用程序中无缝组合使用这些库。

2021-11-10 23:06:01 166

原创 Hive企业应用

一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1. 数据架构架构原则：先水平分层，再垂直分主题域。数据架构分三层源数据落地区(SDF:Source Data File)数据仓库层(DW:Data

2021-10-23 00:22:34 640 1

原创 Hive 介绍

一. 数据仓库介绍专业定义英文名称为Data Warehouse，可简写为DW。是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。通俗解释面向分析的存储系统(面向数据分析的存储系统）一个面向主题的（Subject Oriented）、集成的（Integrate）、不可修改的（Non-Volatile）、反映历史变化（Tim

2021-10-18 22:24:26 416

原创分布式资源管理与任务调度框架 Yarn

一、Yarn简介 1、Yarn是什么Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）一种新的Hadoop资源管理器，一个通用资源管理系统为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效2、Yarn特点资源管理与计算框架解耦设计，一个集群资源共享给上层各个计算框架，按需分配，大幅度提高资源利用率运维成本显著下降，只需运维一个集群，同时运行满足多种业务需求的计算框架集...

2021-10-14 00:26:39 278

原创 mybatis_day01

1 什么是框架1.1 什么是框架框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。简而言之，框架其实就是某种应用的半成品，就是一组组件，供你选用完成你自己的系统。简单说就是使用别人搭好的舞台，你来做表演。而且，框架一般是成熟的，不断升级的软件。1.2 框架解决什么问题框架要解决的最重要的一个问题是技术整合的问题，在 J2EE 的框架中

2021-08-04 21:29:15 281

原创 mybatis_day03

1 mybatis中的连接池1.1 什么是连接池数据库连接是一项有限的昂贵资源，一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的性能低下。数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由应用程序动态地对池中的连接进行申请、使用和释放。对于多于连接池中连接数的并发请求，应该在请求队列中排队等待。并且应用程序可以根据池中连接的使用率，动态增加或减少池中的连接数。总结：连接池是面向数据库

2021-08-04 21:27:06 138

原创 mybatis_day02

1 #和$的区别#{}表示一个占位符号通过#{}可以实现 preparedStatement 向占位符中设置值，自动进行 java 类型和 jdbc 类型转换， #{}可以有效防止 sql 注入。 #{}可以接收简单类型值或 pojo 属性值。可以自动对值添加 ’ ’ 单引号${}表示拼接 sql 串通过${}可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换， ${}可以接收简单类型值或 pojo 属性值，如果 parameterType 传输

2021-08-03 23:12:29 67

原创 Day15_ 封装、继承、多态

（一）、面向对象（1）、封装封装是把对象的所有组成部分组合在一起，封装使用访问控制符将类的数据隐藏起来，控制用户对类的修改和访问数据的程度。作用适当的封装可以让代码更容易理解和维护，也加强了代码的安全性。①、软件包机制*package : 设置的是编译之后的class文件的保存目录,和源文件没有关系* 如果没有设置package语句,则class文件和java文件在同目录** 软件包机制 :* 1 为了解决命名冲突问题* ...

2021-06-06 11:54:14 79

原创 Day14 _封装

（一）、面向对象（1）、Static①、是什么能做什么static 是一个修饰符关键字,用来区别静态和成员属性static修饰符 1 类体中使用static修饰的变量是静态变量 2 类体中使用static修饰的方法是静态方法 3类体中使用static修饰的语句块是静态语句块②、怎么用/** * * 静态变量和静态语句块都是类加载阶段进行初始化和执行,而main...

2021-06-01 00:17:42 49

原创 Day13 类、对象、构造器、封装

（一）、面向对象（1）、概述面向对象(Object Oriented)是软件开发方法，一种编程范式。面向对象的概念和应用已超越了程序设计和软件开发，扩展到如数据库系统、交互式界面、应用结构、应用平台、分布式系统、网络管理结构、CAD技术、人工智能等领域。面向对象是一种对现实世界理解和抽象的方法，是计算机编程技术发展到一定阶段后的产物。面向对象是相对于面向过程来讲的，面向对象方法，把相关的数据和方法组织为一个整体来看待，从更高的层次来进行系统建模，更贴近事物的自然运行模式。（2）、面向过程和面

2021-05-31 14:13:21 101

原创 day_08_数组

（一）、数组（1）、概述数组：是引用数据类型（类，数组，接口）数组是底层的数据结构，几乎任何语言都有，数组被分为索引数组和关联数组，目前只涉及索引数组（2）、数据结构定义：数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。数组栈链表散列二叉树/红黑树（3）、应用场景数组用来储存多个数据，比如单个成绩可以用一个

2021-05-22 22:58:14 61

原创 day_07_递归

一、递归（1）、概述递归 : 就是在当前方法中,调用自己(当前方法) 基本思想 : 以此类推递归和迭代是等价的,而迭代就是循环,所以递归也是重复做某件事三要素 : 初始值,终止条件,步长如果循环能做到的,就不要使用递归,因为递归效率低,比较耗费内存应用场景 : 一般树状结构,需要使用递归来完成比如菜单目录,每一层目录结构,都是一个循环,两层就需要嵌套循环,比如不知道有多少子目录结构呢?...

2021-05-18 00:29:48 52

原创 day_06 _方法

一、方法（1）、概述和作用一堆代码的集合,可以重复使用使程序变的更简洁更清晰有利于程序维护提高开发效率提高代码重用性/复用性（2）、方法声明方法声明 : [修饰符列表] 返回值类型方法名 (参数列表) { 方法体 }[ ]：可以有,可以没有,可以有多个1 方法修饰符列表,是可选的 : 权限控制四选一 public,private,protected,默认(不写) static(声明静态) ...

2021-05-16 22:55:24 81

原创 day_05 _流程控制

一、循环结构（1）、For/** * for循环 : 又被称为计数循环,就是在某个次数范围内,重复执行某段相同的代码 * * 语法 : * * for( 表达式1; 表达式2 ; 表达式3 ){ * 循环体,要重复做的事; * } * * 表达式1 : 是初始化表达式,最先执行,并且只执行一次 * 表达式2 : 必须是boolean类型的表达式 * 表达式3 : 步长 * * 执行过程 : * 程序执行到for循环的时候,.

2021-05-13 23:25:19 51

原创 Day04 运算符、流程控制

一、运算符（1）、赋值运算符= += -= *= /= %=/** * 赋值运算符 * * = 把右边的赋值给左边 * * += : 左边和右边相加,结果赋值给左边 * int i = 10; i+=20; 等价于 i = i + 20; 不过+=和 ++ 等都不需要进行强制类型转换,比如 i 是byte类型 * -= : 左边- 右边结果赋值给左边 * *= * /= * %= * */public class Operator_04

2021-05-13 13:22:52 101

原创 day_03_运算符

序释义：用于表示数据的运算、赋值和比较的一系列符号我们称之为运算符。分类一、算术运算符 /** * 算数运算符 * + - * / % * * ++ , -- * ++ : 自身+1 等同于 i = i +1; * -- 同上 * * i++ 和 ++i * i++ : 先赋值后+1 * ...

2021-05-11 18:46:56 67

原创 day_02_java介绍

一、java概述创建时间：1991年,命名OAK,是SUN公司推出,1995开始以java名义推出创建人：Java之父詹姆斯·高斯林分类：JavaSE,JavaEE,JavaME二、特性面向对象，跨平台，自动垃圾回收，多线程（jvm四大特性） java是准动态强类型解释性语言(动态主要体现在反射机制) 编译型语言 : 运行之前,先把源文件,通过指定的编译器生成机器码文件,可以让计算机直接识别优点 : 只需要编译一次,就可以运行多次,执行效率高缺点 : 跨平台性能差

2021-05-09 11:47:08 81

xiaoppt的博客