java经验总结-CSDN博客

本文链接：https://blog.csdn.net/do_you_like_van_game/article/details/129171936

java输入数学公式计算结果

jdk自带功能注意结果精度

ScriptEngineManager scriptEngineManager = new ScriptEngineManager();
ScriptEngine scriptEngine = scriptEngineManager.getEngineByName("nashorn");
String str = "((10*0.8)/2-100)*-3";
Object eval = null;
try {
    eval = scriptEngine.eval(str);
} catch (ScriptException e) {
    e.printStackTrace();
}
System.out.println("=============");
System.out.println("old:"+ str + "=" + eval);
System.out.println("=============");

java.stream 常用方法

## 按字段汇总数据

        matList = matList.stream().collect(Collectors.toMap(AirGoodsCountForm::getTabId, Function.identity(),

                (a, b) -> {

                    Long count = a.getCount();

                    Long count1 = b.getCount();

                    a.setCount(count + count1);

                    return a;

                })).values().stream().collect(Collectors.toList());

## 按字段分组数据

### 每个list数据的唯一

    Map<Long, AirGoodsCensusForm> airGoodsCensusFormMap = matList.parallelStream()

                    .collect(

                            Collectors.toMap(AirGoodsCensusForm::getTabId, (p) -> p));

### 每个list数据的重复

  Map<Long, List<AirHouseListVo>> parentHouseData = airMaterials.stream().collect(Collectors.groupingBy(AirHouseListVo::getTabId));

# jvm

    在执行java代码时指定jvm运行模式



    JVM的三种运行模式

    -Xint 纯字节码解释器(1)

    -Xcomp 纯模板解释器(2)

    -Xmixed 字节码解释器 + 模板解释器(3)



    例如: java -showversion -Xint -jar xxx.jar showversion表示显示jvm运行模式

## jvm 分区

    程序计数器------------------------->线程私有

    java虚拟机栈------------------------->线程私有

    本地方法栈------------------------->线程私有

    java堆------------------------->线程公有

    方法区------------------------->线程公有

## JVM内存分配

1.栈内存分配

    保存参数、局部变量、中间计算过程和其他数据。退出方法的时候，修改栈顶指针就可以把栈帧中的内存销毁。

    栈的优点：存取速度快，仅次于寄存器，栈数据可以共享。

    栈的缺点：存在栈中的数据大小、生存期是在编译时确定的，导致其缺乏灵活性。

2.堆内存分配

堆的优点：

动态地分配内存大小，生存期不必事先告诉编辑器，他在运行期动态分配的，垃圾回收器会自动收走不再使用的空间区域。

堆的缺点：

运行时动态分配内存，在分配和销毁时都要占用时间，因此堆的效率较低。

# redis如何保证高可用

    redis 如何删除过期 - 定时删除(redis特定的算法) 惰性删除(查询发现过期删除) 内存淘汰()

    缓存击穿缓存穿透缓存雪崩 - 过期时间平均分配热点数据永不删除

    AOF策略记录操作日志

    集群(3)+主从复制(3)

-----------------

主要来源b战的up---本人学习记录笔记

    连接模块 -- 连接池 --连接驱动

    sql接口-- sql解析器-- sql优化器--缓存

    存储引擎--(InnoDB-5.7常用默认,myISAM,Cluster,Fanlcon)

## 存储引擎

    InnoDB:

        sql语句--->执行计划--->正常

                                --->执行缓存器(buffer pool[页--记录数据])--->磁盘

                                --->(读)自适应哈希索引(有数据读取没有磁盘读取并追加到热点页) 索引数据

                                ---> free链表 flush链表 LRU链表管理数据页的写入位置刷盘位置数据页淘汰

                                --->写

                                    --->undo buffer ---> .idu 表空间

                                    --->redo log buffer ---> redo log (断电恢复数据)中 --->.idu 表空间--->最后写入 buffer pool 中/change buff 然后合并---->buffer pool 中--->写入 double write buff --->系统表空间

                                                                      --->独立表空间.idb





                          --->异常--->redo log buffer---------->page cache(操作系统io)--->磁盘

## 数据结构

    表---->t.frm(表结构等信息)

      ---->t.ibd(表空间--存储数据和索引和碎片区)

            --->页<=16k(默认6个页[在碎片区--最多32个页])--(页头,数据行[变长列表,null列表,记录头,列值1,列值2....]<=8K,页尾)--相近的页查询会比较快---机械硬盘磁盘位置相邻---跨页查询会导致机械硬盘寻找磁道时间变长导致查询变慢

            --->段(逻辑)---页(b+树索引根[非叶子节点段])+区([叶子节点段])==表空间idb文件

            --->区=1m(64个连续页)--优化磁头查询时间

            --->区组=256m(256区---第一个区[比较特殊])

            --->buffer pool(多个区组 )

## sql查询

    sql语句 --->连接池(半双工通信)

            --->缓存(map<String,查询结果>)--不常用(命中率较低--建立缓存慢)

            --->sql解析器(词法分析-语法分析)

            --->预处理器

            --->sql优化器（优化成本分析轨迹打开查看成本查看之后记得关闭要不然会有性能问题）

            SHOW STATUS LIKE ‘last_query_cast’ (子查询和 union 无法计算)

            查看最近sql语句消耗的成本(io cost + cpu cost)

            --->执行器(sql优化器发送执行计划)

            --->存储引擎调用Handler Api 执行计划 (索引查询遍历查询零时表在存储引擎执行)

            --->通过Tcp协议讲结果集返回给客户端(如果开启了查询缓存会更新查询缓存反而影响性能)

## 页

### 11种不同类型的页

一个数据块4个页校验页的完整性校验算法crc32验证--默认

页头 file header 38个字节

            ---->校验和

            ---->页号 4个字节

            ---->上页号

            ---->下页号双向链表

            ---->最近被修改的LSN

            ---->页类型

            ---->已被刷到磁盘的LSN

            ---->表空间id

数据页索引页

            ---->数据行对应真实数据

                    record_type:

                      0：业务数据，普通记录。

                      1：B+树的非叶子节点（本文暂时还没用到）。

                      2：最小记录。

                      3：最大记录。

                    默认创建新页时默认创建

                    ---->一个行类型record_type为2的最小行

                    ---->一个行类型record_type为3的最大行

                    ---->不做任何存储作为链表的头和尾使用

                  ----> DYNAMIC 切分为2半

                    ---->额外信息

                        ---->变长字段长度列表

                        ---->null值列表

                        ---->头信息(40bit)

                            --->删除标记

                            --->非页节点最小标记

                            --->目录组内行数

                            --->行在页内的位置

                            --->行类型

                            --->下一行的地址偏移量(指下一行数据的起始地址)



                    ---->真实数据主键值列1的值列2的值

页尾 file trailer 8个字节

---->校验和

---->最近被修改的LSN

## mysql索引原理

     读取4kb的磁盘寻址读写:随机io,连续io,

     由于磁盘读取缓慢,所以每次读取4*4kb存放入内存中成为数据页

     b+树的节点--->加载到buffpool

                 --->树的头就是每个页中最小行的主键--是上一个页最大行的主键\

                                                                         --->就这样连接起来了

                 --->树的尾就是每个页中最大行的主键--是下一个页最小行的主键/

--->聚族索引和非聚族索引

## 如何查看索引

使用explan工具查看

主要列有


select * from t where id=1
select * from t where id=1
select * from t join y on id=id
select * from t join y on id=id

where c_id=1
select * from t join y on id=id

where c_id=1 or b_id is null
select * from t where id=1 and c_id=1
select * from t where id between 1 and 10;
select id,name from user
select * from user 

性能	type	场景	sql
1	system	不存在iondb中	`select * from t where id=1`
2	const	最快有且只有一行	`select * from t where id=1`
3	eq_ref	连表主键查询出现	`select * from t join y on id=id`
4	ref	二级索引查询时不使用主键查询或者唯一非空索引	`select * from t join y on id=id where c_id=1`
5	ref_or_null	二级索引查询时不使用主键查询或者唯一非空索引	`select * from t join y on id=id where c_id=1 or b_id is null`
6	index_merge	想多个搜索合并为一个	`select * from t where id=1 and c_id=1`
7	range	不是等值查询时 BETWEEN,LIKE,IN,大于,小于,等,要对索引树扫描效率并不高	`select * from t where id between 1 and 10;` `select * from t where id < 10;` `select * from t where id > 10;` `select * from t where id != 10;` `select * from t where id like '10%';`
8	index	查询结果集包含缩影就会出现,效率和all一样, 条件字段没有索引	`select id,name from user`
9	all	查询结果集包含全部字段,条件字段没有索引	`select * from user`


select name from user where name = 'zdd'
sselect * from user where user_id =1 or user_id is null
select * from user where id >1
select * from user where age  between 1 and 100
select * from user a
join student b on a.age=b.age
select * from user where id=1 or age =90
select count(id) from user group by sex
select * from user where id=1 order by age

------分割线------

事务

(InnoDB 引事务

事务

原子性,一致性,隔离性,持久性

一致性是老大其他 3个为一致性服务

手动事务

开启事务

start transaction; 

sql 1;

sql 2;

提交事务

commit;

自动事务

set autocommit = 'no' --自动提交事务

原子性:

通常一条sql 一条undolog日志,更新操作会有2条,出现错误时回滚一批undolog日志

撤销日志 (undo log)

undo log 日志结构

file header
undo page header (用来连接多个undo age 使用链表链接)
undo log segment header
undo log header
undo1	undo2	undo3
type-insert	type-delete	type-update
表id	表id	表id
.....	.....	.....
common信息	common信息	common信息
主键信息	旧事物id 旧roll_pointer 主键信息	旧事物id 旧roll_pointer 主键信息被更新信息
file trailer

真实数据会有 roll_pointer与undo log的roll_poiner 关联多个 undo log 也通过 roll_pointer关系

每条数据会有undo log 的版本链,回滚的时候可以依次撤销

1个undo log(回滚日志)存放 ---- 128个undo log segment(回滚日志段)

1个undo log segment(回滚日志段) ---- 存放 1024个undo log page页

执行器--->undo log 记录着回滚前的数据

锁

锁信息

基本信息	上锁事务的信息
	被锁的索引信息
	锁的类型和模式信息	lock_mode	lock_s---共享锁--其他事务不能加排它锁,但是可以加其他锁--防止数据被其他事务所修改
			lock_ls---共享意向锁--只需查询表是否上锁无需遍历数据查询
			lock_x---独占锁--其他事务无法对该条数据加锁
			lock_lx---独占意向锁--只需查询表是否上锁无需遍历数据查询
			lock_auto_inc---自增锁--用于数据新增时主键自增值,阻塞其他插入操作,保证主键的唯一性,但是回滚操作会造成主键不连续,可以设置,增加自增值但是不加锁.
特有信息	被锁表的信息--表锁	lock_type	表锁
	表空间+页号--行锁		行锁
	被锁行行号(bits 数组)--行锁	rec_lock_type	精准行锁--锁住特定的行
			gap锁--锁住行与行之间的间隙防止间隙中间插入数据
			next key锁==精准行锁+gap锁
			插入意向锁--特殊gap锁允许数据插入2条数据的行间隙,可以并行执行插入意向锁

隔离性:

脏读:a事务读取到b事务还未提交的数据

幻读:a事务2次读取同一个集合数据时,b事务对集合数据进行删除部分数据和新增了数据,a事务读到了数量不一致的行数据

不可重复度:a事务同一条数据2次读取到不同的数值,原因是b事务在a读取第二次途中修改了诗句并提交

一般常用隔离级别 serializable 看自己需求调整

//可重复读
set transaction_isolaction = 'REPEATABLE-READ'
//串行读
set transaction_isolaction = 'SERIALIZABLE'

持久性:

重做日志缓冲区 (redo log buffer)

执行器--->重做日志缓冲区 (redo log buffer)--> redo log

redo log (重做日志)可用于断电后恢复数据到磁盘中

场景:

内存数据--->----断电---x---写入磁盘

恢复市电:

redo log--->磁盘

缓冲池 (buffer pool)

执行器---->缓冲池---> 双写同步缓冲区 (doublewrite buffer)--->磁盘

内存数据-->写入磁盘中

刷盘--将存储在内存缓冲区的数据写入到磁盘中单次16kb数据页传输 ,但是操作系统每次以4kb的大小进行数据传输,在刷盘的时候可能断电,通过建立双写同步缓冲区来解决数据页的完整性

双写同步缓冲区-里面有2份完整的页数据,断电恢复时,寻找双写同步缓冲区完整的页数据恢复,如果没有完整的页则,恢复不了

性能	extra	场景	sq
1	using index	无语聚族缩影查询,无需回表查询	`select name from user where name = 'zdd'`
2	using index condition	有二级索引查询,需需回表查询	`sselect * from user where user_id =1 or user_id is null`
3	using where	查询条件任意字段,不走索引一定要优化	`select * from user where id >1`
4	using MRR	有二级索引作为条件时对二级索引缓存进行排序,一般不会出现除非设置	`select * from user where age between 1 and 100`
5	using join buffer	关联查询,如果a的age有索引但是b的age没有索引,会全表扫描a循环关联b,不建议使用	`select * from user a join student b on a.age=b.age`
6	using union	多个查询条件都是索引会对查询条件进行合并	`select * from user where id=1 or age =90`
7	using temporary	进行分组查询且分组条件字段为索引字段,记住一定在对该字段加索引	`select count(id) from user group by sex`
8	using filessort	查询条件为任意索引字段之后在进行排序, 可以通过讲查询字段和排序字段新建组合索引就不用再次排序	`select * from user where id=1 order by age`