工作
Lord_sh
种一棵树最好的时间是十年前,其次是现在
展开
-
scala 裸写 json
手写简单的json,可以用"""框起来def TestJson(): Unit = { val campaign_id = 1 val cid = 2 print( s"""{"campaign_id":$campaign_id, "cid":$cid}""" )}用转义字符报错s"{\"campaign_id\":$campaign_id, \"cohort_id\":$cohort_id}"';' expected but string literal .原创 2022-02-28 21:43:10 · 374 阅读 · 0 评论 -
fix Spark RDD生成成功,但是dump失败问题
最近碰到一个很奇葩的问题,RDD成功产生(rdd.take(100).mkstring("\n")成功打出),但是dump到hdfs失败,报如下的错误org.apache.parquet.io.InvalidRecordException: could not get child 3 from [GroupColumnIO user r:0 d:1 [user], GroupColumnIO items r:0 d:1 [items], PrimitiveColumnIO expId r:0 d:1原创 2020-12-04 17:08:04 · 199 阅读 · 0 评论 -
Lombok的使用详解
Lombok的使用详解(最详尽的解释,覆盖讲解所有可用注解),解决@Builder.Default默认值问题https://www.cnblogs.com/shihaiming/p/11392983.html转载 2020-10-30 16:22:01 · 248 阅读 · 1 评论 -
scala & spark调优
https://blog.csdn.net/lovehuangjiaju原创 2019-08-16 15:14:02 · 182 阅读 · 0 评论 -
online learning
最近有在上线 ftrl; 有篇文章先markhttps://tech.meituan.com/2016/04/21/online-learning.html原创 2020-10-10 14:27:53 · 147 阅读 · 0 评论 -
Maven conflict插件安装
idea pom右键没有依赖分析,于是:1. 装了maven helper这个插件(Settings→Plugins)2. restart idea3.在IntelliJ中打开项目的pom.xml文件,在文件编辑器的左下方,会看到两个tab,一个是“Text”,另一个是“Dependency Analyzer”:4.可以remove或者exclude了...原创 2020-05-16 12:36:34 · 388 阅读 · 0 评论 -
[工作]堆外内存泄露分析,进程内存远超申请堆大小
最近工作中碰到了内存泄漏的问题emmm, 这曲线还真挺恐怖的。分析&解决过程:一、 为啥没有fullGCps -ef 看了下虚拟机参数,发现堆空间就开了8g,这曲线都涨到14g了,问了下同事,曲线显示的是进程内存(堆内内存+堆外内存),所以下面就分别看下堆内内存和堆外内存的情况了。二、 堆内内存的情况1. 先理解下内存模型内存模型// https:/...原创 2020-04-28 17:08:14 · 602 阅读 · 0 评论 -
[工作]内存泄漏分析
1. JProfile安装2.ps -ef | grep ai-dialog-guide-history3.jmap -dump:format=b,file=ai-dialog-guide-history.shenh.heap.hprof 444869attention: 不要加live(live子选项是可选的,假如指定live选项,那么只输出活的对象到文件.)http...原创 2020-04-26 15:05:10 · 335 阅读 · 0 评论 -
Retrofit2
你真的会用Retrofit2吗?Retrofit2完全教程https://www.jianshu.com/p/308f3c54abdd/原创 2020-04-04 16:34:28 · 169 阅读 · 0 评论 -
gson 教程
你真的会用Gson吗?Gson使用指南(一) https://www.jianshu.com/p/e740196225a4原创 2020-04-04 16:24:55 · 230 阅读 · 0 评论 -
Maven属性(properties)标签的使用
https://www.cnblogs.com/cuiqq/p/11023886.html1.Maven属性是值占位符,如Ant中的属性。它们的值可以通过使用符号${X}在POM中的任何位置访问,其中X是属性。2.当然除了在pom.xml使用自定义属性外,还可以在properties文件中使用,比如项目文件src/main/resources/jdbc.properties3.${p...原创 2020-04-03 10:04:56 · 473 阅读 · 0 评论 -
【转】maven Failure to find xxx in 中央仓库
转自https://blog.csdn.net/FU250/article/details/84400426问题描述,本地仓库有该jar包,但是中央仓库没有该包,mvn编译时一直报如右错误:Failure to find com.sun:jai_codec:jar:1.1.3 in https://repo.maven.apache.org/maven2 was cached i...转载 2020-03-18 21:10:07 · 3053 阅读 · 0 评论 -
rsync 使用
rsync -aP --rsh=ssh user@ip:***(src) ***(dst)原创 2020-03-07 16:52:31 · 307 阅读 · 0 评论