- 博客(30)
- 收藏
- 关注
RSS订阅原创 IDEA 远程调试
Java提供了一个远程调试功能，支持设置断点及线程级的调试同时，不同的JVM通过接口的协议联系，本地的Java文件在远程JVM建立联系和通信。
2024-03-24 10:41:48
602
原创 MySQL字符集不同表关联索引失效
UTF8mb4字符集的表mb4与UTF8字符集的表utf8 关联会产生索引失效的问题。原因：关联时遵循小转大规则，t2.name 字段被转换成utf8mb4字符集，但是表中的name索引字段仍是utf8, utf8mb4!=utf8，导致索引失效。原因：关联时遵循小转大规则，t2.name 字段被转换成utf8mb4字符集，此时t1表中的name索引字段仍是utf8mb4,与表字段相符，索引有效。1.以mb4表为基准表，left join utf8，utf8表name字段索引失效（大关联小，小索引失效）。
2024-03-24 10:36:56
321
原创 sell脚本多行合成一行
awk 中 {print $1} 什么意思： 是将某一行记录以空格为分隔符的第一个字符打印出来。RS是awk读取文件时的行分隔符。ORS则是awk输出时的行结束符。FS是awk读入记录时的列分隔符。OFS则是awk输出时的列分隔符。
2024-03-24 10:33:27
205
原创 Spark与hive 不兼容语法
spark执行unix_timestamp需要设置格式化参数，例如：select unix_timestamp(‘2023-01-01’,‘yyyy-MM-dd’)中’yyyy-MM-dd’必填， hive执行unix_timestamp，可以不设置日期格式化参数。把日期格式化，spark要求格式化使用java格式化标准，例如：“yyyy-MM-dd”，hive可以支持MySQL类格式，‘%Y-%m-%d’spark 中获取json数组的某个元素时,语法为 $[0] 而 hive 语法为 $.[0]
2024-03-24 10:32:26
600
原创 分布式数据库TiDB介绍及基本原理
SQL(Structured Query Language)：数据库，指传统的关系型数据库。缺点是面对大量的数据时，他的性能会随着数据库的增大而急剧下降。主要代表：SQL Server、Oracle、MySQL、PostgreSQL。NoSQL(Not Only SQL)：泛指非关系型数据库。以放宽ACID原则为代价，保证最终一致性原则。主要代表：MongoDB、Redis、CouchDB。
2024-03-24 10:27:11
1778
原创 ETL数据倾斜与资源优化
第一个 MR Job 中，Map 的输出结果集合会随机分布到Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；想象两个队列A和B。如果队列中有多个作业，并且队列资源不够用了，这是如果集群仍然有空闲资源，那么容量调度器可能会将空余的资源分配给队列中的作业，哪怕是超出队列的容量，这部分队列成为“弹性队列”。机器申请调度器会优先匹配本地资源的申请请求，其次是同机架的，最后是任意机器的。
2024-03-24 09:56:22
907
原创 JAVA自动装箱与自动拆箱原理
编译器调用valueOf()，将基本类型转转换成包装器类对象的操作，即把int转换成Integer，long转换成Long，boolean转换成Boolean等八种基本类型转换成对应的包装器类对象。编译器调用intValue(),longValue()等，把Integer,Long,Boolean等8中包装器类对象转换成基本类型，此时，如果包装器类对象为空，会报出npe异常。当方法定义参数是基本类型，传参是包装器对象时，会进行自动拆箱操作。两个包装器类型做运算操作时，也会进行自动拆箱操作。
2024-03-24 09:31:48
305
原创 Debian查看网卡配置信息
设备的配置信息，如设备的IP地址、子网掩码、网关等。：设备的能力，如是否支持自动协商、是否支持唤醒等。这个字段列出了网络设备的能力，也就是设备支持的一些特性和功能。这两个命令都会列出系统中所有的网络接口，包括网卡名称、IP地址等信息。：设备的描述信息，通常包含设备的类型（如以太网卡、无线网卡）。：设备的逻辑名，通常是设备的名称，如eth0、wlan0等。：设备的容量，对于网络设备，这通常表示设备的最大传输速率。这个命令会列出所有的网络设备，包括设备的型号信息。：设备的产品名，通常包含设备的型号。
2024-01-20 12:05:57
4347
原创 Samba修改映射目录
path是对应的地址，修改path到新的目录 path = /abc/1223 改成正确的路径，其中vim命令中yy是复制当前行，dd剪切当前行，P粘贴。
2023-11-26 16:20:17
515
1
原创 Spring源码IDEA环境搭建-MAC版
源码下载在github上搜索spring-framework,下载地址https://github.com/spring-projects/spring-frameworkgradle安装配置在gradle官网(https://gradle.org/releases/)中下载gradle安装包gradle-6.7-all.zip,解压文件。配置gradle环境变量添加~/.bash_profile文件，并做如下配置#GRADLEGRADLE_HOME=解压路径/gradle-6.7PAT
2020-11-12 11:44:01
424
1
原创 MySQL字符集不同表关联索引失效
UTF8mb4字符集的表mb4与UTF8字符集的表utf8 关联会产生索引失效的问题。UTF8mb4 是UTF8的超集，遵循小转大的规则，即将UTF8 字符转换成UTF8mb4。例如 mb4和utf8表都包含索引字段name，做表关联有两种情况。大关联小，小索引失效以mb4表为基准表，left join utf8，utf8表name字段索引失效。select * from mb4 ...
2020-03-04 16:30:32
813
原创 MySql索引
MySQL 索引脑图百度脑图地址：http://naotu.baidu.com/file/0090b225024b7329e01a849225ffc66d?token=f258d8f507faeeb0
2019-06-15 21:01:30
81
原创 Synchronized用法详解
Synchronized 有3种形式：1.锁静态方法：不同线程调用两个方法都是互斥的，而且当method1被某个线程占用，其他线程无法使用method2：public synchronized static void method1(){}public synchronized static void method2(){}2.锁类：不同线程调用不同对象的method3方法
2018-01-21 22:18:55
195
原创 new BigDecimal() 失真
JAVA 在创建BigDecimal()时存在失真的情况： 1、参数类型为double的构造方法的结果有一定的不可预知性。newBigDecimal(0.1) 所创建的BigDecimal不等于0.1，它实际上等于0.1000000000000000055511151231257827021181583404541015625。这是因为0.1无法准确地表示为 double
2017-11-15 16:56:09
1426
原创 spring - Mongo 查询的三种方式
spring mongo java 的三种查询方式：使用JSON格式字符串查询；通过构造查询对象方式；使用spring的持久化方案
2017-06-01 18:18:19
898
转载 JQuery ajax 提交对象数组到后台
转载：http://www.cnblogs.com/william-lin/p/4409891.html
2017-04-19 17:02:21
5208
转载 Elasticsearch并发控制
引用自： http://106.186.120.253/preview/optimistic-concurrency-control.html#_Using_Versions_from_an_External_System乐观锁机制 Elasticsearch 是分布式的。当文档创建、更新或删除时， 新版本的文档必须复制到集群中的其他节点。Elasticsearch 也是异步和并发的，这
2017-03-31 10:59:58
356
原创 Elasticsearch的安装与运行（windows）
1.下载并安装ES https://www.elastic.co/downloads/elasticsearch 解压缩包，打开CMD，进入es的解压路径 elasticsearch-5.3.0\bin，运行elasticsearch.bat 验证ES安装成功： 浏览器输入：http://localhost:9200/ 或者 curl http://localhost:9200/ （需
2017-03-30 14:13:41
302
原创 数字证书
数字摘要：是通过双方约定好的hash算法对报文进行编码，得到一个固定位数的字符串。常用的hash算法有：MD2、MD4、MD5、HAVAL、SHA 、CRC数字签名：使用非对称加密的私钥对数字摘要进行加密，生成的字符串叫做数字签名；需要把原文和摘要一起发送给接收者，常用的非对称加密算法有：RSA、ECC(移动设备用)、Diffie-Hellman、El Gamal、DSA(数字签名用)
2017-03-01 18:03:30
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人