- 博客(27)
- 收藏
- 关注
RSS订阅原创 spark
Spark初始一、定义专门为大规模数据处理而生的快速通用的计算引擎，并形成一个高数发展应用广泛的生态系统。二、特点速度快:内存计算下，Spark 比 Hadoop 快100倍易用性:跨语言,拥有80多个高级运算符通用性:Spark 提供了大量的库,开发者可以在同一个应用程序中无缝组合使用这些库支持多种资源管理器:Spark 支持 Hadoop YARN，Apache Mesos，及其自带的独立集群管理器生态组件丰富与成熟: spark streaming:实时数据处理sh
2021-11-11 13:14:27
235
1
原创 Hive 企业应用
一、数据仓库架构设计数据仓库的主要工作就是ETL（Extract-Transform-Load）用来描述数据从来源经过装载、抽取、转换到目的端的过程数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1、数据架构架构原则：先水平分层，再垂直分主题域数据架构分三层：源数据落地区(SDF:Source Data File)数据仓库层(DW:Data WareHouse)数据集市层(DM:Data Market)数据仓库..
2021-10-22 21:50:16
231
原创 hive知识栈
hive运行流程 hive数据模型 数据类型 数据类型 TINYINT 1-byte signed integer from -128 to 127 SMALLINT 2-byte signed integer from -32,768 to 3...
2021-10-17 21:43:30
131
原创 spring-mvc 介绍(1)
1 三层架构介绍开发服务器端程序，一般都基于两种形式，一种C/S架构程序，一种B/S架构程序 使用Java语言基本上都是开发B/S架构的程序，B/S架构又分成了三层架构三层架构表现层：WEB层，用来和客户端进行数据交互的。 业务层：处理公司具体的业务逻辑的。持久层：用来操作数据库的。2 MVC设计模式介绍MVC全名是Model View Controller 模型视图控制器，每个部分各司其职。Model：数据模型，JavaBean的类，用来进行数据封装。 View：指JSP、HTML
2021-08-11 21:25:08
173
原创 Spring框架的学习与使用
1 Spring 是什么？Spring 是一个开源框架，Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 J2EE应用程序开发提供集成的框架。Spring 使用基本的 JavaBean 来完成以前只可
2021-08-05 22:38:54
103
原创 MyBatis框架的使用与进阶03
1 mybatis中的连接池1.1 什么是连接池数据库连接是一项有限的昂贵资源，一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的性能低下。数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由应用程序动态地对池中的连接进行申请、使用和释放。对于多于连接池中连接数的并发请求，应该在请求队列中排队等待。并且应用程序可以根据池中连接的使用率，动态增加或减少池中的连接数。总结：连接池是面向数据库
2021-08-04 21:47:38
99
原创 MyBatis框架的使用与提升02
1 #和$的区别#{}表示一个占位符号通过#{}可以实现 preparedStatement 向占位符中设置值，自动进行 java 类型和 jdbc 类型转换， #{}可以有效防止 sql 注入。 #{}可以接收简单类型值或 pojo 属性值。可以自动对值添加 ’ ’ 单引号${}表示拼接 sql 串通过${}可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换， ${}可以接收简单类型值或 pojo 属性值，如果 parameterType 传输
2021-08-04 21:45:32
90
原创 2021-08-04
Mybtis 框架的使用与提升01官方文档：https://mybatis.org/mybatis-3/zh/index.htmlmybatis plus1.1 引入依赖<!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis
2021-08-04 21:41:50
111
原创 2021-02-28
day_33_CSSCSS 外观属性 Color color属性用于定义文本的颜色，其取值方式有如下3种：预定义的颜色值，如red，green，blue等。十六进制，如#FF0000，#FF6600，#29D794等。实际工作中，十六进制是最常用的定义颜色的方式。RGB代码，如红色可以表示为rgb(255,0,0)或rgb(100%,0%,0%)。需要注意的是，如果使用RGB代码的百分比颜色值，取值为0时也不能省略百分号，必须写为0%。 行...
2021-02-28 14:41:35
506
原创 2021-02-25
day_32_html表格,表单1.表格标签表格是较为常用的一种标签，但不是用来布局，常用来处理、显示表格式数据。、创建表格在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下：<table><tr> <td>单元格内的文字</td> ...</tr> ...</table>在上面的语法中包含三对HTML标签，分别为 table、tr、t...
2021-02-25 19:43:54
959
原创 2021-02-24
day_31_HTML基础2. 浏览器内核浏览器内核又可以分成两部分：渲染引擎(layout engineer 或者 Rendering Engine)和 JS 引渲染引擎擎。、渲染引擎它负责取得网页的内容（HTML、XML、图像等等）、整理讯息（例如加入 CSS 等），以及计算网页的显示方式，然后会输出至显示器或打印机。浏览器的内核的不同对于网页的语法解释会有不同，所以渲染的效果也不相同。、js引擎JS引擎则是解析Javascript语言，执行javascript语言来实现网页的动态效
2021-02-24 22:31:34
228
原创 2021-02-23
JDBC(事务机制,SQL注入,硬代码优化,连接池)事务机制1.1 概述数据库特有的术语，单个逻辑工作单元执行的一系列操作，同步发生数据更新时，防止数据的不一致1.2 应用场景设想网上购物的一次交易，其付款过程至少包括以下几步数据库操作：· 更新客户所购商品的库存信息· 保存客户付款信息–可能包括与银行系统的交互· 生成订单并且保存到数据库中· 更新用户相关信息，例如购物数量等等正常的情况下，这些操作将顺利进行，最终交易成功，与交易相关的所有数据库信息也成功地更新。但是，如果在这一
2021-02-23 22:28:15
83
原创 2021-02-04
day_27_数据库操作进阶一1.2简单DDLDDL : Data Definition Language 数据库定义语言涉及的关键字 : create drop alter昨天我们讲了表的创建和删除,可以规定表名是什么,可以有多少列,数据类型分别是什么,那么比如创建错了,想更改,就要涉及到一个关键字 alter比如更改表名alter table 表名 rename 新表名;如 alter table teacher rename t_teacher;更改字段名alter table 表名
2021-02-04 22:23:30
133
原创 2021-02-03
day_26_数据库基础(Navicat)数据库概述1.1数据(Data)在JavaSE中,我们说过这样一句话,数据要运算,必须先存储,那么java中存储数据是使用 变量,那么计算机怎么存储文件Java中变量存储的数据,可以跨平台,因为JVM跨平台,那么计算机存储的数据呢?不会跨平台而数据库就可以解决操作系统之间的跨平台1.2数据库（DataBase）数据库，顾名思义，就是遵循一定数据格式的数据集合，可以认为它是对文件系统的改 进。它解决了不同操作系统之间，数据格式的兼容性问
2021-02-03 17:47:22
96
原创 2021-02-02
day_25_LambdaLambda1.1 概述lambda表达式 是一种没有名字的函数,也可以称为闭包,是java8的新特性本质就是一个匿名内部类,还有叫箭头函数的1.2 为什么使用LambdaLambda 是一个匿名函数，我们可以把Lambda 表达式理解为是一段可以传递的代码（将代码像数据一样进行传递）。使用它可以写出更简洁、更灵活的代码。作为一种更紧凑的代码风格，使Java的语言表达能力得到了提升。1.4 特点允许把方法作为一个参数,进行传递使用Lambda表
2021-02-02 22:21:37
94
原创 2021-02-01
day_24_正则表达式2.1 概述正则表达式,定义了字符串的模式,可以用来搜索,编辑或处理文本,并不仅限于某一种语言 在任何语言中都有,但是有细微的差别java中在1.4推出java.util.regex包,为我们提供了java使用正则表达式的应用平台java中 \ 为转移符 把有意义字符转换为无意义字符但是在正则表达式中 \ 也是转移符,把有意义字符转换为无意义字符所以 在java中使用正则表达式中的 \ 的时候 需要使用 两个 \练习1 匹配整数和小数^\d 以数字打头
2021-02-01 23:15:35
75
原创 2021-01-28
day_22_线程创建线程有两种方式,启动线程只有一种方式,调用start()继承Thread类,并覆写run方法public class Theard_01 { public static void main(String[]args){ //创建线程对象 Thread t = new Processor(); //启动,会自动执行run方法 t.start(); for(int i = 0;i<10;i++){ System.out.println("m
2021-01-28 21:43:29
70
原创 2021-01-26
Day_19_IO(输入流,输出流,缓存流,打印流,转换流)流是一组有顺序的,有起点有重点的字节集合,是对数据传输的总称或抽象简单来说 就是设备之间的数据传递称为流流的本质 就是数据的传输,根据不同的数据传输特性,抽象出各种类,方便我们直接操作数据流中的操作对象是指内存中,当前操作的程序而言 输入 : 指往内存中导入数据 输出 : 指从内存中写出数据I : input 输入O : output 输出原始文件流 : 用于打开链接,操作数据 1 FileInputStre
2021-01-26 23:10:50
95
2
原创 2021-01-24
day_18_MapMap : 无序 可重复 value可重复, key不可重复Map和 集合的操作 基本都是一样的Object put(Object key,Object value) : 向map中添加键值对void clear() : 清空int size() : 添加个数boolean isEmpty() : 判断是否为空Object get(Object key) : 根据key 获取valueCollection values() : 获取map中的所有value
2021-01-24 22:57:02
78
原创 2021-01-22
day_17_集合Collection 集合 只能存储单个元素,并且只能保存引用数据类型,不能保存基本数据类型*因为 底层就是 Object[] 数组,既然是Object 所以 即可以说 只能保存Object单一元素,也可以说可以保存任何元素,因为Object是祖类,所有类型都会发生向上转型(多态)*因为基本类型和Object没有关系,但是 可以把基本类型转换为对应的包装类类型,*而包装类是Object的子类,这样就能间接存储基本类型了*常用方法 : boolean add()
2021-01-22 21:20:13
77
原创 2021-01-20
day_15_常用API(String,Integer,常量池)/*java.lang.String : 字符串类,并且该类加 final修饰 底层就是char数组 private final char value[]; 所以 字符串很多特性 就是数组的特性 1 字符串一旦创建不可更改 2 为了提升字符串的访问效率,Java中提出了字符串常量池,相当于是一个缓存区 引用类型对象应该保存在堆内存,但是字符串不同,保存在静态区的字符串常量池中 3 在程序
2021-01-20 19:24:35
75
原创 2021-01-19
day_14_内部类,单例模式,工厂模式一 .当一个事物的内部，还有一个部分需要一个完整的结构进行描述而这个内 部的完整的结构又只为外部事物提供服务那么整个内部的完整结构最好使 用内部类java中一个类的定义位于另一个类内部,前者为内部类,后者为外部类内部类重要作用 : 可以访问外部类的私有化数据变量 : 成员变量 : 成员内部类(对象调用) 静态变量 : 静态内部类(类名,变量名) 局部变量 : 局部内部类 形参和实参变量 : 匿名内部类
2021-01-19 22:02:16
67
原创 2021-01-18
day_13_Object(HashCode,toString,Equals,Finalize),1.EqualsObject 是Java中提供的一个根类无继承父类的类默认继承ObjectObject xxx = new xxx();可以发生多态因为多态的原因,如果一个方法需要传递的数据,我们不能确定数据的类型的时候,可以写ObjectObject中的equals方法 public boolean equals(Object obj){ return (this == obj)
2021-01-18 18:59:38
46
原创 2021-01-13
面向对象1.2 区分成员和构造构造方法 : [权限修饰符] 类名(参数) {方法体}作用 : 创建对象,初始化成员属性方法声明 : [修饰符列表] 返回值类型 方法名(参数) {方法体}方法名符合命名规则即可 : 字母,下划线,美元符号,数字,不能数字开头,不能使用关键字和保留字,建议望文知义, 驼峰命名法方法目的 : 代码重用性,提高代码效率问题 1 成员方法的方法名可以和类名相同吗?(成员方法可以和构造方法同名吗?) 可以和类名相同 2
2021-01-13 19:25:56
90
原创 2021-01-09
数组## Java数组基本操作1、 数组基本概念数组可以看成是多个相同类型数据的组合，实现对这些数据的统一管理数组中的每一个数据 — 数组的一个元素（element）E数组中的元素可以是任何数据类型，包括基本数据类型和引用类型数组中元素的个数，称为数组的长度（length）Java语言中声明数组时不能指定其长度e.g. int a[5]; //非法2、一维数组操作1、一维数组的声明2、一维数组的创建3、数组的内存模型• 数组是存储多个相同类型变量的对象。数组的所有元素保存
2021-01-09 12:07:57
73
原创 2021-01-04
Java学习日记## day_05_递归 斐波那契数列1.概述递归就是在方法体中调用自己的方法.递归的基本思想 是以此类推,也是循环的基本思想,所以循环和迭代是等价的.三要素 初始值,终止条件,步长常用于:树状结构,累加,阶乘,斐波那契数列,汉诺塔,文件目录操作.2.斐波那契数列前两位是1,每位都等于前两位的和.1,1,2,3,5,8,13,21,34,55…例如 传入位数,获取第几位的值 ` public static void main(String[] args){
2021-01-04 19:28:27
61
原创 ## Java学习日记## day_04_方法和内存
Java学习日记## day_04_方法和内存day -04-方法1.1 概述和作用一堆代码的集合,可重复使用1)使程序变得更简短更清晰2)有利于程序维护3)提高程序开发效率4)提高代码重用性方法目的 : 代码重用 相同的操作,不用重复写多遍代码方法就是有名字的代码块 : 一个大括号{} 就是一个代码块/语句块/代码段java 中只有方法, c 中只有函数, C++就不一样了,写在类中,叫方法,写在类外叫函数或者说 面向对象语言中 只有方法,面向过
2021-01-03 19:52:41
74
空空如也
clickhouse不通过join的方式将两个表的不同字段拿到一个表中
2024-03-27
seatunnel整库迁移
2024-01-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人