自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BITDDD小栈

LLM、推荐算法工程师,日常使用 Spark、Flink、Python 以及其他大数据相关

  • 博客(6)
  • 资源 (3)
  • 问答 (1)
  • 收藏
  • 关注

原创 Git 合并多次Commit与退出Rebase

Git 合并多次Commit与退出Rebase合并Commitgit执行merge request时commit太多即不美观也影响查看提交log和版本回退,因此需要在git提交时合并多次Commit1.git commit修改代码,并执行3次commit,可以看到已经有3次提交日志2.选择合并commit的数量执行git rebase -i HEAD~n,这里n为要合并的commit的次数,如果我们要合并当前3个,n就是3,如果要合并当前5个commit,n就是5...

2020-07-30 16:06:22 2009

原创 Scala 优雅的异常处理之 try 与 Try

Scala 异常处理之 try 与 Tryjava将所有的错误封装为一个对象,父类为Throwable, Throwable下有两个子类:Error和Exception。scala本质上和java一样,都是运行在jvm上,同理scala也有和java类似的try catch异常处理机制,好处是scala有很多语法糖,在异常处理过程中可以节省开发者很大精力,下面看一下scala异常处理try与Try的使用:try基本写法try是scala内用作异常处理的写法,最常用的写法就是 try c.

2020-07-29 11:35:23 7657

原创 Idea git 提交时无关内容去除

Idea git 提交时无关内容去除在Idea上对代码修改时发现经常出现与修改代码无关的文件也被修改,或者push到线上时,一些不需要的文件也被push上去,针对这些情况总结一下处理方法:1../idea/workspace.xml修改xx文件后,git diff发现workspace.xml也发生修改idea下workspace对应我们当前工程project,我们对project内文件等修改对应的wordspace.xml就会被修改,所以如果没有删除这个文件每次修改项目就会变动一.

2020-07-20 20:24:43 1188

原创 Hive 分区表 Select 优化

Hive 分区表 Select 优化对hive分区表执行select操作时,经常执行很慢,原因竟是因为一个点!优化适配情况:分区表执行select操作where选择某一分区或多个分区查询操作:where条件内分区选择时 在分区字段上加单引号' '原始写法:hive -e "select * from table where dt=20200709"修改后写法:hive -e "select * from table where dt='20200709'"..

2020-07-09 15:45:45 1269

原创 GC (Allocation Failure) 那些事

GC (Allocation Failure) 那些事平常写Java程序,经常看到 GC(Allocation Failure) 这个日志,大概查了查意思是是jvm在执行垃圾回收,一般情况下不影响程序运行,只会拖慢程序运行时间。但是经常遇到这个日志还是不爽,今天就盘一下!GC(Allocation Failure)造成的垃圾回收为young gc 又称minor gc。Demo代码下面这几行spark代码是经常引起 GC(Allocation Failure) 日志的代码写法,基....

2020-07-07 10:59:12 20096

原创 Scala Java Random 用法

Scala Java Random 用法mark 一下常用的 random 用法~加载Random: import scala.util.Random val random = new Random()常用:随机生成 [0,n) 的整数,注意左开右闭:random.nextInt(10)6随机生成[m,n] 的整数,这里+1 或者 不+ 可以控制右边区间的开闭:val m = 3val n = 10random.nextInt(n- m..

2020-07-02 16:43:07 2655

TED Topic For Different Context

TED Topic For Different Context

2024-06-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除