- 博客(25)
- 收藏
- 关注
RSS订阅原创 Kafka
1.定义kafka是高吞吐量的分布式、支持分区(partition)、多副本(replication)、基于zookeeper协调的信息系统。2.专业术语1）Message：消息数据kafka的数据实体，组件Message Queue消息队列MQ2）Broker:kafka包含一个或多个服务器3）Topic:Kafka集群的消息都有一个类别，这个类别被称为Topic，相当于给一类消息管道起个名字4）partition：每个topic包含一个或多个partition，每个partition均会有三
2021-09-06 10:50:36
116
原创 redis
1.redis是什么redis是一个高性能的key-value内存型数据库.特点：数据持久化，将数据保存在磁盘中，重启自动再次加载进行使用支持key-value类型的数据操作，还提供list,set,zset,hash等数据结构的存储支持数据的主从备份，采用master-slave模式的主从备份实现数据块的分布式存储和响应读写性能高所有操作均为原子性操作三种运行模式单机部署主备部署分布式部署组件MemoryCache-kv型缓存数据块：单进程多线程模式Apache Ignite
2021-09-06 10:49:53
113
原创 Hadoop序列化和反序列化
1.序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。2.自定义bean对象要想序
2021-09-06 10:48:40
270
原创 Hadoop缓存机制
1、分布式缓存一个最重要的应用就是在进行join操作的时候，如果一个表很大，另一个表很小，我们就可以将这个小表进行广播处理，即每个计算节点上都存一份，然后进行map端的连接操作，经过我的实验验证，这种情况下处理效率大大高于一般的reduce端join，广播处理就运用到了分布式缓存的技术。2、DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前，文件在每个Job中只会被拷贝一次，缓存的归档文件会被在Slave节点中解压缩。将本地文件复制到HDFS中去，接着Client
2021-09-06 10:47:52
222
原创 Flink初始
一Flink基本介绍背景在flink之前也出现了很多流数据处理引擎，包括storm、sparkstreaming等知名流行框架，但各自均有较明显的不足，导致没有达到理想的流处理引擎的标准要求。如何快速响应和处理这些大规模的实时数据流，成为众多互联网大厂的当务之急优秀流处理引擎标准要求低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高与运行效果好的用户体验等主要方面。storm优点：低延迟缺点：其它要求都较差一些sparkstreaming优点：高吞吐量、容错性高缺点：其它要求都较差一
2021-08-30 22:05:29
140
原创 网络编程和lambda表达式
网络编程概述Java是 Internet 上的语言，它从语言级上提供了对网络应用程 序的支持，程序员能够很容易开发常见的网络应用程序。Java提供的网络类库，可以实现无痛的网络连接，联网的底层 细节被隐藏在 Java 的本机安装系统里，由 JVM 进行控制。并 且 Java 实现了一个跨平台的网络库，程序员面对的是一个统一 的网络编程环境lambda表达式基本使用package test;import java.util.Arrays;import java.util.List;impo
2021-05-05 17:54:17
97
原创 线程池
package _01_Test;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;/** * 1 减少创建和销毁次数 * * 2 可以重复使用 * * 3 统一管理线程数量 */public class _05_NewCachedThreadPool { public static void main(String[] args) { // 创建一..
2021-05-05 17:52:33
63
原创 IO流
流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。文件的复制import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;
2021-05-05 17:51:40
101
原创 常见的数据结构及特征
ArrayList：既然是一串连续的存储结构，所以方便查找。新增和删除操作的时候，是要有移动位置的操作。所以ArrayList适用于存储，查询操作比较频繁的数package Test;package Test;import java.util.ArrayList;/*有序,可重复 有指定下标,添加顺序和取出顺序一致 ArrayList : 底层是个Object[] 数组,随机查询效率高,随机删除效率低,默认初始化时10,扩大之后是原来的1.5倍,并且是第一次添加数据的时候进行默认长度设置,
2021-05-05 17:46:44
299
原创 mysql知识应用
示例数据学生表 Studentcreate table Student(Sid varchar(6), Sname varchar(10), Sage datetime, Ssex varchar(10));insert into Student values(‘01’ , ‘赵雷’ , ‘1990-01-01’ , ‘男’);insert into Student values(‘02’ , ‘钱电’ , ‘1990-12-21’ , ‘男’);insert into Student value
2021-05-05 17:39:24
58
原创 表格表单
1. 表格标签表格是较为常用的一种标签，但不是用来布局，常用来处理、显示表格式数据。1.1 创建表格在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下：1.2 标签翻译在上面的语法中包含三对HTML标签，分别为table、tr、td，他们是创建表格的基本标签，缺一不可，下面对他们进行具体地解释。1.table用于定义一个表格。2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 table中包含几对 tr，就有几行表格。3.td /td：用于
2021-05-05 17:19:20
234
原创 HTML标签
1. 标题标签1.1 应用场景为了使网页更具有语义化，我们经常会在页面中用到标题标签，1.2 使用规则HTML提供了6个等级的标题，即：、、、、和。其基本语法格式如下：标题文本## 1.3 注意事项 1. 标题标签语义：作为标题使用，并且依据重要性递减2. h1 标签因为重要，尽量少用，不要动不动就使用h1。一般h1都是给logo使用，或者页面中最重要标题信息。# 2. 段落标签## 2.1 应用场景在网页中要把文字有条理地显示出来，离不开段落标签，就如同我们平常写文章一样，整个网页
2021-05-05 17:17:03
153
原创 HTML初始
1. 什么是HTML？HTML 是用来描述网页的一种语言。• HTML 指的是超文本标记语言 (Hyper Text Markup Language)• HTML 不是一种编程语言，而是一种标记语言 (markup language)• 标记语言是一套标记标签 (markup tag)• HTML 使用标记标签来描述网页2. 什么是HTML标签？HTML 标记标签通常被称为 HTML 标签 (HTML tag)。• HTML 标签是由尖括号包围的关键词，比如 • HTML 标签通常是成对出
2021-05-05 17:12:35
95
原创 常用API,异常
Calender是什么日历类基本使用Number是什么数字格式化数字格式化:#任意数字(0-9任意单个数字) ,千分位 .小数点 0补位使用方式BigInteger和BigDecimal是什么更高精度的数据存储BigInteger:一般用于存储更高精度的整数BigDecimal:一般用于存储更高精度的小数基本使用阶乘案例Random是什么随机数生成器,从0开始使用方式Math是什么提供了科学计算和基本的数字操作方法都是静态方法来,类名调用即可
2021-05-03 10:19:05
131
原创 IO流
IO流IO流就是数据的传递数据在两设备件的传输称为流,流的本质是数据传输分类抽象类文件流:InputStream 字节输入流`package Day18;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;/** * * */public class FileInputStream1 { public static void
2021-04-14 20:38:16
92
原创 常用API
常用API1 谁的方法(哪个类的)2 什么方法(静态还是成员)3 功能是什么(这个方法能做什么)4 入参(使用该方法需要传递什么参数)5 出参(该方法返回值是什么)String1.是什么String 是字符串类 , 在 java.lang.String , 所以使用不需要导包底层就是一个char数组,所以字符串很多特性就是数组特性数组特性 :查询更改快,添加删除慢长度一旦确定不可更改字符串一旦确定 不能更改为了提升字符串的效率,java提供了一个"缓存机制",字符串常量池Str
2021-04-08 22:33:15
77
原创 接口、类关系、内部类、设计模式
接口、类关系、内部类、设计模式接口、类关系、内部类、设计模式1.是什么Interface是定义接口关键字语法 : public interface 接口名 { }接口不能被实例化对象,接口中也没有构造方法主要是解决java中单继承功能变弱的问题一个类只能继承一个父类,但是可以实现很多接口,多个之间使用 逗号 隔开,由extends变成了implementsJava1.8之前 接口中只有抽象方法和常量,但是public,static,final,abstract 都可以省略1.8开始 可以有
2021-04-08 22:13:12
131
原创 覆写,final,多态
覆写,final,多态覆写1.是什么子类和父类有一样的成员方法(方法名,参数列表,返回值都相同)特指成员方法,只有成员方法可以被覆写怎么用父类方法不能满足子类需求时需要对方法进行覆写条件1.必须是继承关系2.方法名,参数列表,返回值都相同3.不能有更低的访问权限4.不能有更宽泛的异常继承最基本的作用:代码重用继承最重要的功能:方法覆写目的1.满足当前需求2.错误越来越少3.使用范围越来越广4.功能越来越强Final1.是什么final是修饰符2.能干啥final
2021-04-05 20:21:05
97
原创 static、this、封装、继承
static、this、封装、继承This1. 是啥this是每个对象中,保存当前内存地址的一个引用类型变量出来的时候表示当前对象谁调用的当前方法,this就是谁2. 干啥的2.1 区分同名的局部变量和成员变量前面加this.xxx就相当于这个方法里的值2.2 不能出现在静态上下文中在静态状态中出现会报错,显示引用了非静态变量2.3 链式调用一个方法1中最后加了return this;以后,其他方法2调用了这个方法以后又返回调用这个方法1的方法2,再继续调用其他方法3,从而实现方法
2021-03-31 21:56:12
86
原创 类和对象,内存划分,构造器
类和对象,内存划分,构造器面向对象1. 面向对象初识面向对象是一种软件开发方法,是把数据方法构造成一个整体,然后在更高层面进行系统建模,更贴近自然运行方式,符合高内聚,低耦合.2. 面向对象和面向过程面向过程主要是分步骤操作,每一步都分开写,改动的话改动每个步骤面向对象是把一件事分类处理,分成大块进行操作,面向对象和面向过程都是解决问题的思路,或者是程序设计范型,只是侧重点不同面向对象的基础也是面向过程,只是面向对象把具体的实现细节给封装了,让外界无法直接获取优点 :易于维护,可扩展
2021-03-30 20:58:28
71
原创 Day04
Day04 内存划分、递归、数组初识内存划分1. 程序和进程程序:可执行文件,是指令集合,静态概念,一般保存在硬盘中进程:正在执行的文件,动态概念运行起来的程序,就是指载入到内存中的可执行文件,这个时候操作系统会开启一个进程来运行内存中的这个文件对象,如果要关闭某个程序,就可以直接杀死这个进程2. JVM内存划分Xxx.class 是个静态概念,保存在硬盘中,当我们执行java 运行命令的时候,会把该class文件载入内存中Java Runtime Data Area : java运行时数据
2021-03-25 18:55:23
76
原创 Day03
Day03 流程控制,循环,方法流程控制1.顺序结构正常编码,从上到下,从左到右执行2.分支结构根据业务逻辑,某些代码在某种情况下执行或者是根据不同的情况执行不同的代码技术栈 : if…else … switch3.if见上文4.switch4.1 语法switch(整型/字符串){case(情况):代码;break;case(情况):代码;break;default:代码;break;}4.2 案例其中case可以合并,例如case’A’:case’B’:
2021-03-24 19:38:40
271
4
原创 Day02
数据类型,变量,操作符数据类型1. 分类2. 整型3. 浮点型4. 字符型5.布尔型6.类型转换7.混合运算变量和常量1. 常量/字面量/直接量2.变量3.命名规则强制 : 大小写字母,数字,下划线,美元符号,数字不能开头,不能使用关键字和保留字非强制 : 驼峰命名法,望文知义文件名,变量名,方法名,类名,包名(文件夹名) 一切需要我们命名的地方,都要符合这个规则4.作用域5.静态变量操作符1.算数操作符/,+ , - , * , %
2021-03-23 18:56:24
133
1
原创 Day01
Day01Java初识JavaJava安装Java四大特性： 自动垃圾回收机制面向对象跨平台多线程解释型语言 : 每次运行之前,都对源文件进行解释,解释为当前操作系统可以识别的语言优点 : 跨平台较好缺点 : 每次运行都需要解释,执行效率低动态语言 : 使用变量的时候,不需要指定类型,类型在赋值的时候确定,而赋值是在运行时强类型语言 : 一旦类型确定,不可以更改,但是可以强制更改java属于 准动态,强类型,解释型语言（动态主要体现在反射机制）因为JVM扩
2021-03-22 19:55:19
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人