FYHLH-CSDN博客

原创 flink

物理部署层负责解决Flink的部署模式问题支持多种部署模式：本地部署，集群部署，云以及kubernetes通过该层支持不捅平台的部署，用户可以更具自身场景和需求选择使用对应的部署模式RUntime核心层是FIlnk分布式计算框架的核心实现层，负责对上层不同接口提供基础服务支持分布式Stream'作业的执行，JobGraph到ExecutionGraph的映射转换以及任务调度等将DataStream和DataSet转成同意的可执行的TaskOperator，达到在流式计算引擎下同时处理批数量

2022-06-14 08:40:22 185 1

原创 hive相关内容

一UDF因为系统内置函数无法解决所有的问题，所以这时候就需要开发人员自己定义函数实现步骤(Java创建自定义UDF类)自定义一个java类继承UDF类约定俗成的重写evaluate方法打包类所在项目成一个all-in-one的jar包并上传到hive所在机器在hive中执行add jar操作，将jar加载到classpath中。在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数 hive sql中像调用系统函数一样使用udf函数代码实现之后就是打包上

2022-05-06 20:38:48 110

原创 Linux，hadoop、hive总结

Linux总结：Linux主要的内容有：centos7.5的安装，配置内部的网卡，网络适配器，以及安装push，Redis，jkd1.8,mysql等软件的安装和各种不同的安装命令。以及Linux常用的命令。Hadoop总结：Hadoop的核心组件有HDFS、MapReduce和Yarn，以及其他常用组件如：HBase、Hive、Hadoop Streaming、Zookeeper等。具体如下图：HDFS：分布式海量数据存储功能Yarn：提供资源调度与任务管理功能资源调度：根据申

2022-05-04 17:50:25 594

原创 Hadoop总结

Hadoop的核心组件有HDFS、MapReduce和Yarn，以及其他常用组件如：HBase、Hive、Hadoop Streaming、Zookeeper等。具体如下图：HDFS：分布式海量数据存储功能 Yarn：提供资源调度与任务管理功能资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。MapReduce：分布式并行编程模型和计算框架。解决分布式编程门槛高的问题，基于其框架对分布式计算的抽象m.

2022-04-28 20:41:58 3332

原创 linux软件安装和免密通讯用户组

安装pdsh到pdsh官网下载Linux安装包解压：tar -jxvf pdsh-2.29.tar.bz2进到pdsh目录运行：./configure --with-ssh --with-rsh --with-mrsh --with-mqshell --with-qshell --with-dshgroups --with-machines=/etc/pdsh/machines --without-pam然后编译 make安装： makeinstall清理临时文件： make c

2022-04-20 21:06:47 741

原创 linux命令

/bin 系统有很多放置执行档的目录，但/bin比较特殊。因为/bin放置的是在单人维护模式下还能够被操作的指令。在/bin底下的指令可以被root与一般帐号所使用，主要有：cat,chmod(修改权限), chown, date, mv, mkdir, cp, bash等等常用的指令。 /boot 主要放置开机时使用到的档案，包括Linux核心档案以及开机选单与开机所需设定档等等。Linux kernel的核心文档名为：vmlinuz...

2022-04-19 22:40:13 146

原创 spring boot01

优势：创建独⽴的 Spring 应⽤程序嵌⼊的 Tomcat，⽆需部署 WAR ⽂件简化 Maven 配置⾃动配置 Spring提供⽣产就绪型功能，如指标，健康检查和外部配置特性：为基于 Spring 的开发提供更快的⼊⻔体验开箱即⽤，没有代码⽣成，也⽆需 XML 配置。同时也可以修改默认值来满⾜特定的需求提供了⼀些⼤型项⽬中常⻅的⾮功能特性，如嵌⼊式服务器、安全、指标，健康检测、外部配置等Spring Boot 并不是对 Spring 功能上的增强，⽽是提供了⼀种快速使⽤ S

2022-04-10 22:36:55 839

原创 Spring2

IOC注解Spring框架中有注解和XML两种配置方式,包括Spring中的IOC和AOP也一样,都有XML和注解两种方式两种方式各有千秋。1.1 XML和注解的区别1.1.1 XML配置优点有： XML配置方式进一步降低了耦合，使得应用更加容易扩展，即使对配置文件进一步修改也不需要工程进行修改和重新编译。在处理大的业务量的时候，用XML配置应该更加好一些。因为XML更加清晰的表明了各个对象之间的关系，各个业务类之间的调用。同时spring的相关配置也能一目了然。缺点有:..

2022-03-22 22:23:34 160

原创 Sprin

1Spring 是什么？Spring 是一个开源框架，Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 J2EE应用程序开发提供集成的框架。Spring 使用基本的 JavaBean 来完成以前只可能

2022-03-21 22:58:24 149

原创 mybatis1

1 什么是框架1.1 什么是框架框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。简而言之，框架其实就是某种应用的半成品，就是一组组件，供你选用完成你自己的系统。简单说就是使用别人搭好的舞台，你来做表演。而且，框架一般是成熟的，不断升级的软件。1.2 框架解决什么问题框架要解决的最重要的一个问题是技术整合的问题，在 J2EE 的框架中

2022-03-21 22:50:31 95

原创 mybatis

1 #和$的区别#{}表示一个占位符号通过#{}可以实现 preparedStatement 向占位符中设置值，自动进行 java 类型和 jdbc 类型转换，#{}可以有效防止 sql 注入。 #{}可以接收简单类型值或 pojo 属性值。可以自动对值添加 ’ ’ 单引号${}表示拼接 sql 串通过${}可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换，${}可以接收简单类型值或 pojo 属性值，如果 parameterType 传.

2022-03-17 23:56:39 121

原创 JS DOM

一获取元素的方式1根据id获取元素var div1 = document.getElementById('div1')2通过类名获取元素var p1Arr = document.getElementsByClassName('p1');数组3通过标签名获取元素var tag1 = document.getElementsByTagName('div');数组4通过name名获取元素var user = document.getElementsByName('user')

2022-03-02 22:26:25 163

原创 JS 数组函数预解析对象错误

数组的创建通过数组的字面量创建数组var arr = []二维数组 var arr = [[1,1,4,5],[ ], [ ]]获取数组的长度 arr.length数组push方法数组名。push() 如果下标有对应的值，会把原来的值覆盖，如果下标不存在，会给数组新增一个元素。arr.push()函数把一段相对独立的具有特定功能的代码块封装起来，形成一个独立实体，就是函数。起个名字（函数名），在后续开发中可以反复调用。函数的作用就是封装一段代码，将来可以重复使用函数的声明

2022-03-01 21:15:18 177

原创 JavaScript初识

一JavaScript是一门脚本语言、是一门解释性语言、是一门动态类型的语言、是一门基于对象的语言。（不是面向对象）、是一门弱性语言弱性语言具有隐式转换（隐式类型转换就是指，数据的类型在不用人工干预的情况下进行转换的行为，原因：js是一门弱类型（动态类型）的语言，他在声明变量的时候不需要指定类型，对变量赋值也没有类型的检测，所以js是非常的灵活的，）JavaScript的构成JavaScript 的代码写法：主要的关键词是<script></script>

2022-02-28 20:30:22 61

原创盒子模型

盒子模型：padding不撑开，box-sizing: border-box塌陷，合并塌陷上下两个紧邻的margin-buttom和margin-top取较大的；父子塌陷，如果父标签没有相对位置的就会产生外边距塌陷；子盒子全部浮动起来，父盒子没有宽高的会产生父盒子塌陷。overflow: hidden;清除浮动造成的影响：1，额外标签法：<div style="clear:left/right/both"></div>新加了无意义的标签clear : n.

2022-02-24 21:12:20 43

原创 css初识

css样式设置的方法：1.内部样式2.行内样式3.外部样式字体样式属性font-size：“字体大小”font-family：“字体”font-weight：“粗细”font-style：“字体风格” italic斜体 oblique 倾斜font:综合设置字体样式基本语法：font: font-style font-weight font-size/line-height font-family;使用font属性时，必须按照以上的语法顺序书写，各属性以空...

2022-02-23 20:35:15 192

原创表

无序列表<ul><li>第一列</li><li>第二列</li></ul><ol><li>第一列</li><li>第二列</li></ol><dl><dt>名词</dt><dd>名词的解释1</dd><dd>名词的解释2</dd>&

2022-02-22 20:28:59 104

原创 HTML基础

开发工具：浏览器，编辑器、ps内核不同：1.渲染引擎：把内容展示给用户。2.js引擎：解析js代码主流浏览器：谷歌：blink webkitie：Trident火狐：geckosafari：webkit欧朋：blink安卓：webkitios：webkit、trident编辑器: Hblider、快tianliangedu2017__vscode：经济适用、绝大部分公司都用。dwsublimewebstromps作图web标准：是由w3c网

2022-02-21 20:04:27 101

原创 jdbc

介绍：客户端与mysql的连接连接步骤：第0步: 导包第1步：注册驱动 (仅仅做一次)Class.forName("com.mysql.jdbc.Driver");第二步：创建连接Connection conn = DriverManaget.getConnection("jdbc:mysql://localhost:3306/study?useSSL=false","root","hui0617");第三步：创建sql语句对象String sql = "sql语句

2022-02-17 22:20:48 48

原创多表查询

可以使用下面的SQL语句（group by 与 case when结合使用即可实现）：select name,max(case coursewhen 'java' then scoreend) Java, max(case coursewhen 'MySQL' then scoreend) MySQLfrom test_9group by name;concat(值,’拼接符’,值 ) : 拼接,多行数据只会拼接一行group_concat(值,’拼接符’,值 )

2022-02-16 23:01:42 319

原创数据库应用

alter table 现有表名 rename 新表名：更改数据库表名alter table 表名 change 列名新列名数据类型：修改列名alter table 表名 add 列名数据类型：添加字段alter table 表名 drop 列名：删除字段主键：确定数据的唯一性添加主键的方法create table 表名（id int......primary key(id)）;create table ...

2022-02-15 21:06:10 52

原创数据库初识

MySQL是最好的 RDBMS(Relational Database Management System，关系数据库管理系统)简单的数据库命令：mysql -u用户名-p密码：登录数据，select version（）; 查看数据库版本号show databases ：查看本地所有数据库；user 数据库名：切换数据库；show tables；查看数据库下的所有表名；exit ：退出；create user '用户名'@'host' identified by '密码'.

2022-02-14 21:52:27 426

原创 JDK1.8新特性

Streampackage _04_Stream;import java.util.Arrays;import java.util.List;import java.util.stream.IntStream;import java.util.stream.Stream;/** * Stream对象创建 */public class Stream_01 { public static void main(String[] args) { //1数组通过st

2022-02-10 21:55:23 184

原创 UDP/正则表达式

服务端package regex;import java.io.ByteArrayInputStream;import java.io.DataInputStream;import java.net.DatagramPacket;import java.net.DatagramSocket;public class UDPServer { public static void main(String[] args) throws Exception{ //打开UDP对象并监听某

2022-02-09 20:34:06 275

原创死锁，生产者和消费者，单例模式，线程通信

死锁 : 就是在执行过程中,都遇到了对方进入加锁的方法中,从而导致大家都访问不了的状态原理 : 1 某一个线程执行完成需要先后嵌套锁定执行两个对象,并且在这个过程中,先锁定第一个对象 2 另一个线程执行完成需要先后嵌套锁定执行两个对象,并且在这个过程中,先锁定第二个对象 3 在第一个线程执行到第二个对象的时候,发现已经被锁定,只能等待 4 在第二个线程执行到第一个对象的时候,发现已经被锁定,只能等待ubli...

2022-01-25 21:13:29 112

原创多线程

1 多线程1.1 程序进程线程程序 : 一组命令的集合,为了完成指定的功能,程序是静态概念,一般保存在硬盘当中进程 : 正在运行的程序,是一个动态概念,需要保存在内存当中,操作系统会分配对应的PID,当我们直接关闭某个进程的时候,该进行会在运行内存中被销毁线程 : 一个程序中,不同的执行分支,如果同一个时间节点允许多个线程同时执行的时候,我们称为支持多线程在Java中,main方法开始执行,就是一个线程,称为主线程1.2 并行和并发并行 : 多个CPU,同时执行多个任务并

2022-01-24 20:20:33 123

原创 File

简介java.io.File类：文件和文件目录路径的抽象表示形式，与平台无关File 能新建、删除、重命名文件和目录，但 File 不能访问文件内容本身。如果需要访问文件内容本身，则需要使用输入/输出流。想要在Java程序中表示一个真实存在的文件或目录，那么必须有一个File对象，但是Java程序中的一个File对象，可能没有一个真实存在的文件或目录。File对象可以作为参数传递给流的构造器使用方式public File(String pathname)以pathname为路径创

2022-01-23 16:05:30 57

原创 io 流

1 IO流概述和分类【理解】IO流介绍IO：输入/输出(Input/Output) 流：是一种抽象概念,是对数据传输的总称.也就是说数据在设备间的传输称为流,流的本质是数据传输IO流就是用来处理设备间数据传输问题的.常见的应用: 文件复制; 文件上传; 文件下载IO流的分类按照数据的流向输入流：读数据输出流：写数据按照数据类型来分字节流字节输入流字节输出流字符流字符输入流字符输出流IO流的使用场景如果操作的是纯文本文件,优先使用字符流如果操作的是图片

2022-01-21 19:48:24 270

原创散列表、泛型

1 HashSet集合1.1 1 HashSet集合概述和特点底层数据结构是哈希表存取无序不可以存储重复元素没有索引,不能使用普通for循环遍历哈希值简介是JDK根据对象的地址或者字符串或者数字算出来的int类型的数值如何获取哈希值 Object类中的public int hashCode()：返回对象的哈希码值哈希值的特点同一个对象多次调用hashCode()方法返回的哈希值是相同的默认情况下，不同对象的哈希值是不同的。而重写hashCode()方法，可以实现让不同对

2022-01-20 19:25:17 466

原创 LinkedList，set，TreeSet集合，HashSet集合

List集合的概述和特点【记忆】List集合的概述有序集合,这里的有序指的是存取顺序用户可以精确控制列表中每个元素的插入位置,用户可以通过整数索引访问元素,并搜索列表中的元素与Set集合不同,列表通常允许重复的元素List集合的特点存取有序可以重复有索引1LinkedList : 底层是一个双向链表，而不是连续存储** 只是能够找到下一个元素的地址而已，所以在进行...

2022-01-19 21:09:13 316

原创集合丶迭代器

1 数组封装数组操作,相对还是比较复杂的,也不能做添加和删除操作,当需要添加和删除的时候需要新建数组,复制数组,或者元素移位,比较麻烦所以我们对这些添加和删除操作进行封装用法package day_1;public class Array { /** * 封装数组 * */ private Object[] elements;// 数组中已经有的元素个数 private int size = 0; publi...

2022-01-18 21:31:02 198

原创常用API、异常机制

1 BigInteger1.1 概述1、Integer类作为int的包装类，能存储的最大整型值为231-1，Long类也是有限的，最大为263-1。如果要表示再大的整数，不管是基本数据类型还是他们的包装类都无能为力，更不用说进行运算了。2、java.math包的BigInteger可以表示不可变的任意精度的整数。BigInteger 提供所有 Java 的基本整数操作符的对应物，并提供 java.lang.Math 的所有相关方法。另外，BigInteger 还提供以下运算：模算术、GCD 计

2022-01-17 22:45:12 95

原创常用API

1 string1.1 概述java.lang.Sting：是字符串底层是一个final修饰的char数组，使用String很多特性都是数组的特性1字符串一旦创建这个字符串对象就不能更改2为了提升字符串的访问和存储效率 java虚拟机采用了一种缓存机制吧字符串都保存在了字符常量池中3在程序执行过程中,假如要用到一个字符串a String s1 = "a";先去字符串常量池...

2022-01-16 15:22:26 162

原创类之间的关系，内部类，设计模式

1 类之间的关系1.1 继承继承就使用extends表示例如classA{}class B extends A{}1.2 实现类和接口直接是多实现。用逗号隔开class F implements C,D{}类实现接口后必须实现所有的抽象方法，否则该类需要加abstract修饰1.3 依赖局部变量，保存另一个类对象引用方法执行玩关系就不存在了...

2022-01-13 19:38:00 107

原创 java面向对象

1 Finalfinals ：是个修饰符，表示最终的，不可修改 final修饰的类不能被继承，修饰的方法不能被覆写，修饰的变量不能二次赋值，不能更改，必须显示赋值，我们一般吧final修饰的静态变量也叫常量，例如public static。...

2022-01-12 17:39:11 138

原创 java基础总结

1 JAVA1.1 概述 1991 年推出OAK 1995 年改名为java推出 Java之父詹姆斯·高斯林 javaSE,javaWeb,javaEE,JavaM1.2 特性四大特性：跨平台，自动垃圾回收，面向对象，多线程1.3 运行机制...

2022-01-11 20:48:49 233

原创 this static 封装包继承方法重写

1 this关键字可以用在构造方法、实例方法当中。this代表访问当前方法的对象，也就是说哪个对象调用这个方法，this就是哪个方法。 this ：每个对象中，保存自身地址的一个引用类型变量 this 就表示当前对象能做什么 1在成员方法或者构造方法中，区分成员变量和局部变量 this.xxx 2在构造方法中，重载调用当前类中其他构造方法当必须写

2022-01-10 16:42:36 253

原创 DAY9面向对象

1对象的特征1.1属性属性——对象具有的各种特征每个对象的每个属性都拥有特定值这些属性说白了就是类当中的成员变量1.2对象的概念用来描述客观事物的一个实体（也叫实例），由一组属性和方法构成1.3构造方法1)对象创建语法格式类名对象名 = new 类名();示例Student s = new Student();2)操作对象的属性和方法【语法格式】使用类的属性: 对象名.属性实用类的方法: 对象名.方法名()以上面学生类Student为例...

2022-01-08 17:00:26 123

原创排序算法二分算法

1排序排序就是指让保存的元素按照一定的规则进行排序存储比如成绩按降序排序 ,班级前三名就取前三个数据就可以2.1冒泡排序2.2选择排序3查找元素查找数据，比如在一堆数据中要找到某一个并返回其索引,未找到返回-1返回值为boolean:真就是true假就是false返回数字:比如返回索引,能找到就返回索引,找不到就返回-1引用类型:真就是对象，假就是null3.1循序查找顺序查找，遍历，用所有数据挨个和目标数据进行比较如果数据在前面,相对快一些,但是随机

2022-01-05 20:05:34 132

原创 Day_5数组

1 数组数组是引用数据类型，用来保存多个数据1.1数据结构数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关数据操作 : 增删改查1.2数组的特性1.3数组的声明1.4数组的存储1.5数组的使用1.5.1获取数据1.5.2遍历1.5.3常见异常下标越界意思就是...

2022-01-04 20:33:17 235

空空如也

空空如也