- 博客(84)
- 收藏
- 关注
RSS订阅原创 linux查看当前目录以及子目录的文件夹大小。
记录一下这条命令，因为经常要用，可能会帮助到新手。du -h -x --max-depth=几级目录。比如：du -h -x --max-depth=1当前目录以及1级子目录的大小。
2021-10-28 15:55:03
685
原创 java利用der文件生成JWT token
maven：<!-- https://mvnrepository.com/artifact/com.auth0/java-jwt --><dependency> <groupId>com.auth0</groupId> <artifactId>java-jwt</artifactId> <version>3.9.0</version></dependency>j
2021-04-07 12:03:32
955
2
原创 Linux 查看某一进程的 内存占用率
1 首先查出你要用的 进程的PID ，下面的Test 指的是运行的 java程序 类名ps-aux |grep Test假设这个Test 类 的PID 是 2021，那么运行下面的 命令。top -p 2021搞定。下面是列头代表的意思：PID — 进程idUSER — 进程所有者PR — 进程优先级NI — nice值。负值表示高优先级，正值表示低优先级VIRT — 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RESRES — 进程使用的、未被换出的物理内存..
2021-02-26 15:53:45
374
原创 scala spark RDD max
根据对象的日期属性，求出rdd 中最大日期的 那一个对象。val maxOrder = orderRDD.max()(Ordering[Date].on(d => { DateTimeFormat.forPattern(yyyy-MM-dd).parseDateTime(d.createDate).toDate}))搞定收工。
2020-12-16 14:05:01
547
原创 scala spark读取大文件csv太慢以及优化方案。
最近的业务场景中，spark要读取 1个30G的 csv文件，生成RDD后做运算，光这一个 parse 就用了1个半小时，太慢了，后来请大佬帮我优化，我们统计时间发现 ，spark 读取这个csv 竟然用了 30分钟，太慢了。而且后面跑运算的时候，一直是3个分区在跑，我们推测读取文件的时候 partition 少了。关于spark 优化，网上有很多，我这里只把我这次的优化记录下来 ，希望能帮助新人。老的读取csv，生成RDD的代码如下（这一部分读取文件生成RDD就用了30分钟）：val csv
2020-11-27 09:46:46
3550
2
原创 mysql 日期格式 is null 不起作用。
今天卡了很久的一个地方。假设在test表中 有一条记录的 date字段为null，但是用select * from test where date is null;是搜不出的 。只有用select * from test where date = 0;才有用。推测 日期格式 is null 没用记录下来 帮助 新人。...
2020-11-12 18:41:06
769
转载 转载 linux 进程挂起后,唤醒
由于电脑分屏使用，经常在远程上 按了 qq 的快捷键（ctrl + alt + z）导致linux 进程被挂起，特此记录一下 如何唤醒Linux系统下ctrl+z挂起进程后怎么恢复命令 : fg id列入： fg 1
2020-09-29 14:50:22
2215
原创 scala 调用shell命令，通配符不起作用
最近遇到个问题查了我几个小时，百度根本没有信息，然后我google 了好久 终于 解决了，所以写下来帮助后来人。话不多说 直接 给代码。例如： cp outputPath/* backPathdef main(args: Array[String]): Unit = { val outputPath = args(0) val bakPath = args(1) import sys.process._ Seq("sh","-c","cp "+outputP.
2020-09-15 16:56:53
452
1
原创 java 根据keystore和truststore创建SSLContext
package com.lz.util;import com.acclivity.phimail.model.MyClientConfig;import javax.net.ssl.*;import java.io.File;import java.io.FileInputStream;import java.security.KeyStore;import java.security.cert.X509Certificate;public class SSLContextUtil {.
2020-08-12 10:03:05
992
原创 scala 正则表达式简单的获取固定格式的日期
项目中经常有 XXXXX_yyyy-MM-dd.csv 这种文件，然后 每次都用的 截取，突然出现一个XXXXX_yyyy-MM-dd（1）.csv 这样的文件 致使程序报错，于是 改了下用正则获取时间 。 由于已经确定 了 时间格式 并且不用判断时间是否正确 所以这个正则无比简单。 val testDateR = "\\d{4}-\\d{2}-\\d{2}".r val testDate = "testFile_2020-07-14(1).csv" val testRes.
2020-07-22 15:40:42
819
原创 scala英文格式的日期转为标准格式
DateTimeFormat.forPattern("ddMMMyyyy").withLocale(Locale.ENGLISH).parseDateTime("17Jan2022").toString("yyyyMMdd")用的 joda 日期工具 ，感觉蛮好用的，maven 引用： <dependency> <groupId>joda-time</groupId> <artifactId&g...
2020-07-22 14:52:51
281
原创 scala 字符串首字母大写，非截取。
有一个 数组 数组里面放的都是 用下划线分割的单词 ：def testArray: Array[(String, String)] = Array("product_org1_a", "product_org2_b","product_org3_c", "product_org4_d")现在 要把里面的 每个单词变成 驼峰命名的单词 比如 product_org1_a => ProductOrg1A网上的写法全是 截取啊 然后拼接啊。 自己瞎琢磨了很久终于让我琢磨出来了一个最优雅的..
2020-07-08 19:26:03
1402
原创 scala spark2读取csv文件，并且处理后输出成.out文件
val sparkCfg = new SparkConf().set("spark.driver.maxResultSize", "0") sparkCfg.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") val sparkSession = SparkSession.builder() .appName(appCfg.getString("appName")) ....
2020-07-03 10:19:38
795
原创 notepad++删除当前行快捷键
我搜索了一大圈，看网上全是 录制 宏， 然后我想 notepad++不至于删除当前行也要自己 录制吧，找了很久，终于在 notepad++的快捷键管理里面找到了删除当前行的快捷键：Ctrl + Shift + L也能自己修改，没网上说的那么麻烦。具体地方如下：如图所示 你也能自己修改...
2020-06-22 15:13:46
2135
原创 java + vue.js + elementUI 文件下载
最近项目用到了下载，但是前端不熟悉 搞了我很久，特此记录下来。在网上搜了 很多 都说直接用 a 标签 不知道为什么我的不可以 。于是 我只能 传给前端base64文件 然后 前端 用 base64文件 转。话不多说 ，直接上代码首先后端代码 ： @GetMapping("/download/{id}") public ResponseResult downl...
2020-04-27 17:28:11
920
原创 docker 安装中文字体
记录一下我的项目中 安装字体（不是通用的阿，而且只是记录我自己 的）1 首先 查看 docker 容器外，linux 的字体fc-list2 将windows 的字体 放到 linux 的 字体默认文件夹下linux的 字体默认文件夹在 /usr/share/fonts3 刷新字体缓存。fc-cache4 将 windows 字体文件夹 放到 docke...
2020-04-17 11:34:51
2555
转载 【转载】Delta，Hudi和Iceberg数据湖的搭建
原文链接https://zhuanlan.zhihu.com/p/1098264611. 引入作为依赖Spark的三个数据湖开源框架Delta，Hudi和Iceberg，本篇文章为这三个框架准备环境，并从Apache Spark、Hive和Presto的查询角度进行比较。主要分为三部分准备单节点集群，包括：Hadoop，Spark，Hive，Presto和所有依赖项。 测试D...
2020-04-09 16:00:54
1599
原创 linux安装ssh以及启动 ssh ；ssh：connect to host localhost port 22: Connection refused
启动 hadoop 的时候，发现一个问题ssh：connect to host localhost port 22: Connection refused这个问题就是 ubuntu 默认没安装 ssh 或者没启动 ssh 服务，我用的是 windows 自带的 linux 安装 的ubuntu 18.0.41首先 安装 sshsudo apt-get inst...
2020-04-09 13:42:56
866
原创 记录一下复杂的 spring data jpa 包括外连接 不区分大小写模糊查询
Pageable pageable = PageRequest.of(page, size, sort); Page<CXCustomStudies> result; if(searchJson!=null){ result=allTrailsRepository.findAll((root,query,cb)->{ List<Predicate&g...
2020-04-08 11:17:26
717
原创 清空docker上的日志文件
清空 docker上的日志文件 和 tomcat上的没啥 区别，都是 把日志文件删除 或者 把日志文件里面的内容清空，我这里用的是 第二种 清空内容。1 首先找到 docker日志文件 。docker inspect --format='{{.LogPath}}' <容器ID或者name> 比如：docker inspect --format='{{.LogPa...
2020-03-27 16:25:47
936
原创 win10自带的linux安装zookeeper 脱机模式安装
安装zookeeper很简单。1 下载 官网下载地址2 安装由于 我是 win10自带的linux，所以 就不存在 要传文件了 直接 copy 过来就好win 10 自带的 linux 和 本机是联通的 ，直接进入到 你下载的文件夹 比如 我是 C盘 的 download 文件夹。cp /mnt/c/Users/Liz/Downloads/apache-zo...
2020-03-23 16:55:30
259
原创 小白教程，win10开启自带的Linux子系统以及ubuntu18.04 初始化配置（安装jdk，修改数据源）
最近 windows更新后 出现了 一个 适用于 Linux 的windows 子系统 选项，我用了用 感觉 蛮不错的 现在记录下 我的 ubuntu初始话配置。1 首先开启linux系统win10左下方的搜索栏 输入 hy 回车 如下图：2 勾上 适用于Linux 的windows 子系统选项。然后重启。3 安装 linux 超简单的安装。打开windows...
2020-03-19 17:22:23
1273
原创 记录一下 spring boot jpa 外连接的 EntityGraph 写法
实体类：package com.jintel.ct.entity;import javax.persistence.*;import java.util.Date;import java.util.LinkedHashSet;import java.util.Set;/** * @date ：2019/6/26 */@NamedEntityGraph( name =...
2020-03-19 10:43:48
612
原创 react iframe打印pdf文档
先说需求，最近有一个需求 是 后台 把服务器上的文档转成pdf 并打印， 后来发现 java 打印不行，因为我们是一个web服务，所以 在服务器端打印不行，只能用 前端js打印。我们遇到最大的问题就是 iframe 能显示了，但是 就是 死活不能打印 要么就是跨域问题，要么就是打印的是空白页面。然后看网上分析 各种什么 另一个页面包裹这个iframe 然后 用postMessage。然后...
2020-03-19 10:43:02
1133
原创 记录一下纠缠了我两天的 unable to find valid certification path to requested target
首先 我的idea 是 2019.2.x 版本， maven 是 3.6.1网上的方法我都试了一个遍，包括安装证书，修改 maven mirror 还有在idea的maven 设置 running 的命令，甚至我连idea 和maven全部重新下过，然后结果是全都没用。不光 阿里云用不了，连maven的中央仓库我都试了，连 mvn help:system都用不了 。后来在一个...
2020-03-17 02:44:33
611
2
原创 idea开启spring boot 热部署。
1 添加 热部署插件。 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope...
2020-03-16 17:02:43
177
原创 spring boot 和 spring cloud对应的版本
记录一下 如何选择spring boot 的版本 和cloud 的版本，https://start.spring.io/actuator/info spring 的 这个网站直接返回一个json 里面 有 对应的版本 具体 可以 看 官网。...
2020-03-12 15:25:18
216
原创 aspose获取文件纸张方向以及设置纸张方向
最近的需求是要打印pdf，然后 用aspose 转换pdf 后，发现 打印的时候 横板也打印成竖版了，所以我需要知道 文件是否是横板。找了很久 然后发现网上现在没有 说如果获取 aspose 文件方向的 ，自己 瞎几把试出来了 ^^ 分享出来 给大家： @Test public void testAsposeConvertDocx2Pdf() throws Exce...
2020-03-09 15:43:57
3393
7
原创 spring boot 跨域，options 400错误
之前的跨域 都是 写在一个 filter 中：@Order(2)@WebFilter(filterName = "CrossDomainFilter",urlPatterns = "*//*")public class CrossDomainFilter extends OncePerRequestFilter { @Override protected void doFilter...
2020-01-14 10:35:43
936
原创 转载两篇 比较好的 java 操作word 文章 ，一篇生成 一篇打印
Java多种方式动态生成doc文档Java jacob调用打印机打印word文档具体的 都在这两篇文章里面，我就不具体转载了。
2020-01-09 13:09:21
278
转载 转载一个操作word文档很详细的例子
转载java POI操作word。package cn.demo.util.wordUtil;import com.auth0.jwt.internal.org.apache.commons.lang3.StringUtils;import org.apache.poi.util.Units;import org.apache.poi.xwpf.model.XWPFHead...
2020-01-03 21:21:54
531
原创 spring boot redis template 使用
由于之前的项目是spring 项目 然后改造成 spring boot 项目 所以 redis 还是用的 RedisTemplate。话不多说直接上代码。首先pom文件 redis maven： <dependency> <groupId>org.springframework.boot</groupId>...
2019-12-18 10:49:37
223
原创 java微信退款以及微信支付的发送请求util
/** * 微信退款 * @param orderNo 订单编号 * @param refundAmount 退款金额 * @return 微信返回结果 return_code 为 ‘SUCCESS’ 表示成功 * @throws Exception */ public Map<String,String>...
2019-12-15 23:57:14
312
原创 spring boot 访问不到controller 以及 返回字符串乱码
最近新建了一个项目 是 spring boot2.1.1 + mybatis +postgre 的技术栈。然后神奇的来了。建好后 怎么都访不到 controller 控制器也没报错 。然后百度了下，发现 大多数说的 要么就是 springboot 启动器要放在最外层，要么就是加上@ComponentScan注解，要么就是 什么@RestController注解，然后我发现都没用，没办法 自...
2019-11-14 16:29:22
280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人