- 博客(84)
- 收藏
- 关注
原创 linux查看当前目录以及子目录的文件夹大小。
记录一下这条命令,因为经常要用,可能会帮助到新手。du -h -x --max-depth=几级目录。比如:du -h -x --max-depth=1当前目录以及1级子目录的大小。
2021-10-28 15:55:03
685
原创 java利用der文件生成JWT token
maven:<!-- https://mvnrepository.com/artifact/com.auth0/java-jwt --><dependency> <groupId>com.auth0</groupId> <artifactId>java-jwt</artifactId> <version>3.9.0</version></dependency>j
2021-04-07 12:03:32
955
2
原创 Linux 查看某一进程的 内存占用率
1 首先查出你要用的 进程的PID ,下面的Test 指的是运行的 java程序 类名ps-aux |grep Test假设这个Test 类 的PID 是 2021,那么运行下面的 命令。top -p 2021搞定。下面是列头代表的意思:PID — 进程idUSER — 进程所有者PR — 进程优先级NI — nice值。负值表示高优先级,正值表示低优先级VIRT — 进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RESRES — 进程使用的、未被换出的物理内存..
2021-02-26 15:53:45
374
原创 scala spark RDD max
根据对象的日期属性,求出rdd 中最大日期的 那一个对象。val maxOrder = orderRDD.max()(Ordering[Date].on(d => { DateTimeFormat.forPattern(yyyy-MM-dd).parseDateTime(d.createDate).toDate}))搞定收工。
2020-12-16 14:05:01
547
原创 scala spark读取大文件csv太慢以及优化方案。
最近的业务场景中,spark要读取 1个30G的 csv文件,生成RDD后做运算,光这一个 parse 就用了1个半小时,太慢了,后来请大佬帮我优化,我们统计时间发现 ,spark 读取这个csv 竟然用了 30分钟,太慢了。而且后面跑运算的时候,一直是3个分区在跑,我们推测读取文件的时候 partition 少了。关于spark 优化,网上有很多,我这里只把我这次的优化记录下来 ,希望能帮助新人。老的读取csv,生成RDD的代码如下(这一部分读取文件生成RDD就用了30分钟):val csv
2020-11-27 09:46:46
3550
2
原创 mysql 日期格式 is null 不起作用。
今天卡了很久的一个地方。假设在test表中 有一条记录的 date字段为null,但是用select * from test where date is null;是搜不出的 。只有用select * from test where date = 0;才有用。推测 日期格式 is null 没用记录下来 帮助 新人。...
2020-11-12 18:41:06
769
转载 转载 linux 进程挂起后,唤醒
由于电脑分屏使用,经常在远程上 按了 qq 的快捷键(ctrl + alt + z)导致linux 进程被挂起,特此记录一下 如何唤醒Linux系统下ctrl+z挂起进程后怎么恢复命令 : fg id列入: fg 1
2020-09-29 14:50:22
2215
原创 scala 调用shell命令,通配符不起作用
最近遇到个问题查了我几个小时,百度根本没有信息,然后我google 了好久 终于 解决了,所以写下来帮助后来人。话不多说 直接 给代码。例如: cp outputPath/* backPathdef main(args: Array[String]): Unit = { val outputPath = args(0) val bakPath = args(1) import sys.process._ Seq("sh","-c","cp "+outputP.
2020-09-15 16:56:53
452
1
原创 java 根据keystore和truststore创建SSLContext
package com.lz.util;import com.acclivity.phimail.model.MyClientConfig;import javax.net.ssl.*;import java.io.File;import java.io.FileInputStream;import java.security.KeyStore;import java.security.cert.X509Certificate;public class SSLContextUtil {.
2020-08-12 10:03:05
992
原创 scala 正则表达式简单的获取固定格式的日期
项目中经常有 XXXXX_yyyy-MM-dd.csv 这种文件,然后 每次都用的 截取,突然出现一个XXXXX_yyyy-MM-dd(1).csv 这样的文件 致使程序报错,于是 改了下用正则获取时间 。 由于已经确定 了 时间格式 并且不用判断时间是否正确 所以这个正则无比简单。 val testDateR = "\\d{4}-\\d{2}-\\d{2}".r val testDate = "testFile_2020-07-14(1).csv" val testRes.
2020-07-22 15:40:42
819
原创 scala英文格式的日期转为标准格式
DateTimeFormat.forPattern("ddMMMyyyy").withLocale(Locale.ENGLISH).parseDateTime("17Jan2022").toString("yyyyMMdd")用的 joda 日期工具 ,感觉蛮好用的,maven 引用: <dependency> <groupId>joda-time</groupId> <artifactId&g...
2020-07-22 14:52:51
281
原创 scala 字符串首字母大写,非截取。
有一个 数组 数组里面放的都是 用下划线分割的单词 :def testArray: Array[(String, String)] = Array("product_org1_a", "product_org2_b","product_org3_c", "product_org4_d")现在 要把里面的 每个单词变成 驼峰命名的单词 比如 product_org1_a => ProductOrg1A网上的写法全是 截取啊 然后拼接啊。 自己瞎琢磨了很久终于让我琢磨出来了一个最优雅的..
2020-07-08 19:26:03
1402
原创 scala spark2读取csv文件,并且处理后输出成.out文件
val sparkCfg = new SparkConf().set("spark.driver.maxResultSize", "0") sparkCfg.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") val sparkSession = SparkSession.builder() .appName(appCfg.getString("appName")) ....
2020-07-03 10:19:38
795
原创 notepad++删除当前行快捷键
我搜索了一大圈,看网上全是 录制 宏, 然后我想 notepad++不至于删除当前行也要自己 录制吧,找了很久,终于在 notepad++的快捷键管理里面找到了删除当前行的快捷键:Ctrl + Shift + L也能自己修改,没网上说的那么麻烦。具体地方如下:如图所示 你也能自己修改...
2020-06-22 15:13:46
2135
原创 java + vue.js + elementUI 文件下载
最近项目用到了下载,但是前端不熟悉 搞了我很久,特此记录下来。在网上搜了 很多 都说直接用 a 标签 不知道为什么我的不可以 。于是 我只能 传给前端base64文件 然后 前端 用 base64文件 转。话不多说 ,直接上代码首先后端代码 : @GetMapping("/download/{id}") public ResponseResult downl...
2020-04-27 17:28:11
920
原创 docker 安装中文字体
记录一下我的项目中 安装字体(不是通用的阿,而且只是记录我自己 的)1 首先 查看 docker 容器外,linux 的字体fc-list2 将windows 的字体 放到 linux 的 字体默认文件夹下linux的 字体默认文件夹在 /usr/share/fonts3 刷新字体缓存。fc-cache4 将 windows 字体文件夹 放到 docke...
2020-04-17 11:34:51
2555
转载 【转载】Delta,Hudi和Iceberg数据湖的搭建
原文链接https://zhuanlan.zhihu.com/p/1098264611. 引入作为依赖Spark的三个数据湖开源框架Delta,Hudi和Iceberg,本篇文章为这三个框架准备环境,并从Apache Spark、Hive和Presto的查询角度进行比较。主要分为三部分准备单节点集群,包括:Hadoop,Spark,Hive,Presto和所有依赖项。 测试D...
2020-04-09 16:00:54
1599
原创 linux安装ssh以及启动 ssh ;ssh:connect to host localhost port 22: Connection refused
启动 hadoop 的时候,发现一个问题ssh:connect to host localhost port 22: Connection refused这个问题就是 ubuntu 默认没安装 ssh 或者没启动 ssh 服务,我用的是 windows 自带的 linux 安装 的ubuntu 18.0.41首先 安装 sshsudo apt-get inst...
2020-04-09 13:42:56
866
原创 记录一下复杂的 spring data jpa 包括外连接 不区分大小写模糊查询
Pageable pageable = PageRequest.of(page, size, sort); Page<CXCustomStudies> result; if(searchJson!=null){ result=allTrailsRepository.findAll((root,query,cb)->{ List<Predicate&g...
2020-04-08 11:17:26
717
原创 清空docker上的日志文件
清空 docker上的日志文件 和 tomcat上的没啥 区别,都是 把日志文件删除 或者 把日志文件里面的内容清空,我这里用的是 第二种 清空内容。1 首先找到 docker日志文件 。docker inspect --format='{{.LogPath}}' <容器ID或者name> 比如:docker inspect --format='{{.LogPa...
2020-03-27 16:25:47
936
原创 win10自带的linux安装zookeeper 脱机模式安装
安装zookeeper很简单。1 下载 官网下载地址2 安装由于 我是 win10自带的linux,所以 就不存在 要传文件了 直接 copy 过来就好win 10 自带的 linux 和 本机是联通的 ,直接进入到 你下载的文件夹 比如 我是 C盘 的 download 文件夹。cp /mnt/c/Users/Liz/Downloads/apache-zo...
2020-03-23 16:55:30
259
原创 小白教程,win10开启自带的Linux子系统以及ubuntu18.04 初始化配置(安装jdk,修改数据源)
最近 windows更新后 出现了 一个 适用于 Linux 的windows 子系统 选项,我用了用 感觉 蛮不错的 现在记录下 我的 ubuntu初始话配置。1 首先开启linux系统win10左下方的搜索栏 输入 hy 回车 如下图:2 勾上 适用于Linux 的windows 子系统选项。然后重启。3 安装 linux 超简单的安装。打开windows...
2020-03-19 17:22:23
1273
原创 记录一下 spring boot jpa 外连接的 EntityGraph 写法
实体类:package com.jintel.ct.entity;import javax.persistence.*;import java.util.Date;import java.util.LinkedHashSet;import java.util.Set;/** * @date :2019/6/26 */@NamedEntityGraph( name =...
2020-03-19 10:43:48
612
原创 react iframe打印pdf文档
先说需求,最近有一个需求 是 后台 把服务器上的文档转成pdf 并打印, 后来发现 java 打印不行,因为我们是一个web服务,所以 在服务器端打印不行,只能用 前端js打印。我们遇到最大的问题就是 iframe 能显示了,但是 就是 死活不能打印 要么就是跨域问题,要么就是打印的是空白页面。然后看网上分析 各种什么 另一个页面包裹这个iframe 然后 用postMessage。然后...
2020-03-19 10:43:02
1133
原创 记录一下纠缠了我两天的 unable to find valid certification path to requested target
首先 我的idea 是 2019.2.x 版本, maven 是 3.6.1网上的方法我都试了一个遍,包括安装证书,修改 maven mirror 还有在idea的maven 设置 running 的命令,甚至我连idea 和maven全部重新下过,然后结果是全都没用。不光 阿里云用不了,连maven的中央仓库我都试了,连 mvn help:system都用不了 。后来在一个...
2020-03-17 02:44:33
611
2
原创 idea开启spring boot 热部署。
1 添加 热部署插件。 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope...
2020-03-16 17:02:43
177
原创 spring boot 和 spring cloud对应的版本
记录一下 如何选择spring boot 的版本 和cloud 的版本,https://start.spring.io/actuator/info spring 的 这个网站直接返回一个json 里面 有 对应的版本 具体 可以 看 官网。...
2020-03-12 15:25:18
216
原创 aspose获取文件纸张方向以及设置纸张方向
最近的需求是要打印pdf,然后 用aspose 转换pdf 后,发现 打印的时候 横板也打印成竖版了,所以我需要知道 文件是否是横板。找了很久 然后发现网上现在没有 说如果获取 aspose 文件方向的 ,自己 瞎几把试出来了 ^^ 分享出来 给大家: @Test public void testAsposeConvertDocx2Pdf() throws Exce...
2020-03-09 15:43:57
3393
7
原创 spring boot 跨域,options 400错误
之前的跨域 都是 写在一个 filter 中:@Order(2)@WebFilter(filterName = "CrossDomainFilter",urlPatterns = "*//*")public class CrossDomainFilter extends OncePerRequestFilter { @Override protected void doFilter...
2020-01-14 10:35:43
936
原创 转载两篇 比较好的 java 操作word 文章 ,一篇生成 一篇打印
Java多种方式动态生成doc文档Java jacob调用打印机打印word文档具体的 都在这两篇文章里面,我就不具体转载了。
2020-01-09 13:09:21
278
转载 转载一个操作word文档很详细的例子
转载java POI操作word。package cn.demo.util.wordUtil;import com.auth0.jwt.internal.org.apache.commons.lang3.StringUtils;import org.apache.poi.util.Units;import org.apache.poi.xwpf.model.XWPFHead...
2020-01-03 21:21:54
531
原创 spring boot redis template 使用
由于之前的项目是spring 项目 然后改造成 spring boot 项目 所以 redis 还是用的 RedisTemplate。话不多说直接上代码。首先pom文件 redis maven: <dependency> <groupId>org.springframework.boot</groupId>...
2019-12-18 10:49:37
223
原创 java微信退款以及微信支付的发送请求util
/** * 微信退款 * @param orderNo 订单编号 * @param refundAmount 退款金额 * @return 微信返回结果 return_code 为 ‘SUCCESS’ 表示成功 * @throws Exception */ public Map<String,String>...
2019-12-15 23:57:14
312
原创 spring boot 访问不到controller 以及 返回字符串乱码
最近新建了一个项目 是 spring boot2.1.1 + mybatis +postgre 的技术栈。然后神奇的来了。建好后 怎么都访不到 controller 控制器也没报错 。然后百度了下,发现 大多数说的 要么就是 springboot 启动器要放在最外层,要么就是加上@ComponentScan注解,要么就是 什么@RestController注解,然后我发现都没用,没办法 自...
2019-11-14 16:29:22
280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人