- 博客(25)
- 收藏
- 关注
RSS订阅原创 Kafka
1.定义 kafka是高吞吐量的分布式、支持分区(partition)、多副本(replication)、基于zookeeper协调的信息系统。 2.专业术语 1）Message：消息数据kafka的数据实体，组件Message Queue消息队列MQ 2）Broker:kafka包含一个或多个服务器 3）Topic:Kafka集群的消息都有一个类别，这个类别被称为Topic，相当于给一类消息管道起个名字 4）partition：每个topic包含一个或多个partition，每个partition均会有三
2021-09-06 10:50:36
79
原创 redis
1.redis是什么 redis是一个高性能的key-value内存型数据库 .特点： 数据持久化，将数据保存在磁盘中，重启自动再次加载进行使用 支持key-value类型的数据操作，还提供list,set,zset,hash等数据结构的存储 支持数据的主从备份，采用master-slave模式的主从备份 实现数据块的分布式存储和响应 读写性能高 所有操作均为原子性操作 三种运行模式 单机部署 主备部署 分布式部署 组件 MemoryCache-kv型缓存数据块：单进程多线程模式 Apache Ignite
2021-09-06 10:49:53
92
原创 Hadoop序列化和反序列化
1.序列化和反序列化 （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。 （3）Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。 2.自定义bean对象要想序
2021-09-06 10:48:40
232
原创 Hadoop缓存机制
1、分布式缓存一个最重要的应用就是在进行join操作的时候，如果一个表很大，另一个表很小，我们就可以将这个小表进行广播处理，即每个计算节点上都存一份，然后进行map端的连接操作，经过我的实验验证，这种情况下处理效率大大高于一般的reduce端join，广播处理就运用到了分布式缓存的技术。 2、DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前，文件在每个Job中只会被拷贝一次，缓存的归档文件会被在Slave节点中解压缩。将本地文件复制到HDFS中去，接着Client
2021-09-06 10:47:52
193
原创 Flink初始
一Flink基本介绍 背景 在flink之前也出现了很多流数据处理引擎，包括storm、sparkstreaming等知名流行框架，但各自均有较明显的不足，导致没有达到理想的流处理引擎的标准要求。 如何快速响应和处理这些大规模的实时数据流，成为众多互联网大厂的当务之急 优秀流处理引擎标准要求 低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高与运行效果好的用户体验等主要方面。 storm 优点：低延迟 缺点：其它要求都较差一些 sparkstreaming 优点：高吞吐量、容错性高 缺点：其它要求都较差一
2021-08-30 22:05:29
118
原创 网络编程和lambda表达式
网络编程概述 Java是 Internet 上的语言，它从语言级上提供了对网络应用程 序的支持，程序员能够很容易开发常见的网络应用程序。 Java提供的网络类库，可以实现无痛的网络连接，联网的底层 细节被隐藏在 Java 的本机安装系统里，由 JVM 进行控制。并 且 Java 实现了一个跨平台的网络库，程序员面对的是一个统一 的网络编程环境 lambda表达式 基本使用 package test; import java.util.Arrays; import java.util.List; impo
2021-05-05 17:54:17
72
原创 线程池
package _01_Test; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; /** * 1 减少创建和销毁次数 * * 2 可以重复使用 * * 3 统一管理线程数量 */ public class _05_NewCachedThreadPool { public static void main(String[] args) { // 创建一..
2021-05-05 17:52:33
46
原创 IO流
流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。 文件的复制 import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream;
2021-05-05 17:51:40
68
原创 常见的数据结构及特征
ArrayList：既然是一串连续的存储结构，所以方便查找。新增和删除操作的时候，是要有移动位置的操作。所以ArrayList适用于存储，查询操作比较频繁的数package Test; package Test; import java.util.ArrayList; /*有序,可重复 有指定下标,添加顺序和取出顺序一致 ArrayList : 底层是个Object[] 数组,随机查询效率高,随机删除效率低,默认初始化时10,扩大之后是原来的1.5倍,并且是第一次添加数据的时候进行默认长度设置,
2021-05-05 17:46:44
261
原创 mysql知识应用
示例数据 学生表 Student create table Student(Sid varchar(6), Sname varchar(10), Sage datetime, Ssex varchar(10)); insert into Student values(‘01’ , ‘赵雷’ , ‘1990-01-01’ , ‘男’); insert into Student values(‘02’ , ‘钱电’ , ‘1990-12-21’ , ‘男’); insert into Student value
2021-05-05 17:39:24
42
原创 表格表单
1. 表格标签 表格是较为常用的一种标签，但不是用来布局，常用来处理、显示表格式数据。 1.1 创建表格 在HTML网页中，要想创建表格，就需要使用表格相关的标签。 创建表格的基本语法格式如下： 1.2 标签翻译 在上面的语法中包含三对HTML标签，分别为table、tr、td，他们是创建表格的基本标签，缺一不可，下面对他们进行具体地解释。 1.table用于定义一个表格。 2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 table中包含几对 tr，就有几行表格。 3.td /td：用于
2021-05-05 17:19:20
181
原创 HTML标签
1. 标题标签 1.1 应用场景 为了使网页更具有语义化，我们经常会在页面中用到标题标签， 1.2 使用规则 HTML提供了6个等级的标题，即：、、、、和。 其基本语法格式如下： 标题文本 ## 1.3 注意事项 1. 标题标签语义：作为标题使用，并且依据重要性递减 2. h1 标签因为重要，尽量少用，不要动不动就使用h1。一般h1都是给logo使用，或者页面中最重要标题信息。 # 2. 段落标签 ## 2.1 应用场景 在网页中要把文字有条理地显示出来，离不开段落标签，就如同我们平常写文章一样，整个网页
2021-05-05 17:17:03
130
原创 HTML初始
1. 什么是HTML？ HTML 是用来描述网页的一种语言。 • HTML 指的是超文本标记语言 (Hyper Text Markup Language) • HTML 不是一种编程语言，而是一种标记语言 (markup language) • 标记语言是一套标记标签 (markup tag) • HTML 使用标记标签来描述网页 2. 什么是HTML标签？ HTML 标记标签通常被称为 HTML 标签 (HTML tag)。 • HTML 标签是由尖括号包围的关键词，比如 • HTML 标签通常是成对出
2021-05-05 17:12:35
77
原创 常用API,异常
Calender 是什么 日历类 基本使用 Number 是什么 数字格式化 数字格式化:#任意数字(0-9任意单个数字) ,千分位 .小数点 0补位 使用方式 BigInteger和BigDecimal 是什么 更高精度的数据存储 BigInteger:一般用于存储更高精度的整数 BigDecimal:一般用于存储更高精度的小数 基本使用 阶乘案例 Random 是什么 随机数生成器,从0开始 使用方式 Math 是什么 提供了科学计算和基本的数字操作方法 都是静态方法来,类名调用即可
2021-05-03 10:19:05
110
原创 IO流
IO流 IO 流就是数据的传递 数据在两设备件的传输称为流,流的本质是数据传输 分类 抽象类 文件流:InputStream 字节输入流` package Day18; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; /** * * */ public class FileInputStream1 { public static void
2021-04-14 20:38:16
70
原创 常用API
常用API 1 谁的方法(哪个类的) 2 什么方法(静态还是成员) 3 功能是什么(这个方法能做什么) 4 入参(使用该方法需要传递什么参数) 5 出参(该方法返回值是什么) String 1.是什么 String 是字符串类 , 在 java.lang.String , 所以使用不需要导包 底层就是一个char数组,所以字符串很多特性就是数组特性 数组特性 : 查询更改快,添加删除慢 长度一旦确定不可更改 字符串一旦确定 不能更改 为了提升字符串的效率,java提供了一个"缓存机制",字符串常量池 Str
2021-04-08 22:33:15
59
原创 接口、类关系、内部类、设计模式
接口、类关系、内部类、设计模式 接口、类关系、内部类、设计模式 1.是什么 Interface是定义接口关键字 语法 : public interface 接口名 { } 接口不能被实例化对象,接口中也没有构造方法 主要是解决java中单继承功能变弱的问题 一个类只能继承一个父类,但是可以实现很多接口,多个之间使用 逗号 隔开,由extends变成了implements Java1.8之前 接口中只有抽象方法和常量,但是public,static,final,abstract 都可以省略 1.8开始 可以有
2021-04-08 22:13:12
107
原创 覆写,final,多态
覆写,final,多态 覆写 1.是什么 子类和父类有一样的成员方法(方法名,参数列表,返回值都相同) 特指成员方法,只有成员方法可以被覆写 怎么用 父类方法不能满足子类需求时需要对方法进行覆写 条件 1.必须是继承关系 2.方法名,参数列表,返回值都相同 3.不能有更低的访问权限 4.不能有更宽泛的异常 继承最基本的作用:代码重用 继承最重要的功能:方法覆写 目的 1.满足当前需求 2.错误越来越少 3.使用范围越来越广 4.功能越来越强 Final 1.是什么 final是修饰符 2.能干啥 final
2021-04-05 20:21:05
73
原创 static、this、封装、继承
static、this、封装、继承 This 1. 是啥 this是每个对象中,保存当前内存地址的一个引用类型变量 出来的时候表示当前对象 谁调用的当前方法,this就是谁 2. 干啥的 2.1 区分同名的局部变量和成员变量 前面加this.xxx就相当于这个方法里的值 2.2 不能出现在静态上下文中 在静态状态中出现会报错,显示引用了非静态变量 2.3 链式调用 一个方法1中最后加了return this;以后,其他方法2调用了这个方法以后又返回调用这个方法1的方法2,再继续调用其他方法3,从而实现方法
2021-03-31 21:56:12
61
原创 类和对象,内存划分,构造器
类和对象,内存划分,构造器 面向对象 1. 面向对象初识 面向对象是一种软件开发方法,是把数据方法构造成一个整体,然后在更高层面进行系统建模,更贴近自然运行方式,符合高内聚,低耦合. 2. 面向对象和面向过程 面向过程主要是分步骤操作,每一步都分开写,改动的话改动每个步骤 面向对象是把一件事分类处理,分成大块进行操作, 面向对象和面向过程都是解决问题的思路,或者是程序设计范型,只是侧重点不同 面向对象的基础也是面向过程,只是面向对象把具体的实现细节给封装了,让外界无法直接获取 优点 : 易于维护,可扩展
2021-03-30 20:58:28
56
原创 Day04
Day04 内存划分、递归、数组初识 内存划分 1. 程序和进程 程序:可执行文件,是指令集合,静态概念,一般保存在硬盘中 进程:正在执行的文件,动态概念 运行起来的程序,就是指载入到内存中的可执行文件,这个时候操作系统会开启一个进程来运行内存中的这个文件对象,如果要关闭某个程序,就可以直接杀死这个进程 2. JVM内存划分 Xxx.class 是个静态概念,保存在硬盘中,当我们执行java 运行命令的时候,会把该class文件载入内存中 Java Runtime Data Area : java运行时数据
2021-03-25 18:55:23
61
原创 Day03
Day03 流程控制,循环,方法 流程控制 1.顺序结构 正常编码,从上到下,从左到右执行 2.分支结构 根据业务逻辑,某些代码在某种情况下执行 或者是根据不同的情况执行不同的代码 技术栈 : if…else … switch 3.if 见上文 4.switch 4.1 语法 switch(整型/字符串){ case(情况): 代码; break; case(情况): 代码; break; default: 代码; break; } 4.2 案例 其中case可以合并,例如case’A’:case’B’:
2021-03-24 19:38:40
163
4
原创 Day02
数据类型,变量,操作符 数据类型 1. 分类 2. 整型 3. 浮点型 4. 字符型 5.布尔型 6.类型转换 7.混合运算 变量和常量 1. 常量/字面量/直接量 2.变量 3.命名规则 强制 : 大小写字母,数字,下划线,美元符号,数字不能开头,不能使用关键字和保留字 非强制 : 驼峰命名法,望文知义 文件名,变量名,方法名,类名,包名(文件夹名) 一切需要我们命名的地方,都要符合这个规则 4.作用域 5.静态变量 操作符 1.算数操作符 /,+ , - , * , %
2021-03-23 18:56:24
112
1
原创 Day01
Day01 Java初识 Java Java安装 Java四大特性 ： 自动垃圾回收机制 面向对象 跨平台 多线程 解释型语言 : 每次运行之前,都对源文件进行解释,解释为当前操作系统可以识别的语言 优点 : 跨平台较好 缺点 : 每次运行都需要解释,执行效率低 动态语言 : 使用变量的时候,不需要指定类型,类型在赋值的时候确定,而赋值是在运行时 强类型语言 : 一旦类型确定,不可以更改,但是可以强制更改 java属于 准动态,强类型,解释型语言（动态主要体现在反射机制） 因为JVM扩
2021-03-22 19:55:19
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人