自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BITDDD小栈

LLM、推荐算法工程师,日常使用 Spark、Flink、Python 以及其他大数据相关

  • 博客(6)
  • 资源 (3)
  • 问答 (1)
  • 收藏
  • 关注

原创 Scala Json与map互转

Map2Json import com.alibaba.fastjson.{JSONArray, JSONObject} val map = mutable.HashMap("1"->1,"2"->2,"3"->3) val json = new JSONObject() val jsonString = map.foreach(x ...

2020-04-30 14:24:22 4282 2

原创 Tensorflow-reduce_sum 函数 Axis 详解

编程过程中经常需要对数组进行处理,而sum又是经常需要用到的函数,sum函数传参时会用到axis参数,低维度还好,高维度经常容易混淆,本文基于TF,对数组sum时axis进行详解,即对哪个位置加,加完形状变什么样:Tip:tf只是用来调用生成结果,对axis的理解适合任意语言Sum首先明确axis的作用,axis参数是加和时用来固定的轴,也可以说是数学里的维度。常见的情形遇到的是...

2020-04-28 15:22:16 1191

原创 Shell 检查HDfS文件

平常脚本运行需要检查对应hdfs路径相关信息,特此总结:Tip: 假设要检查的路径为check_path1.获取路径文件大小并转化为规定单位 Byte,K,M,Gbytes获取文件大小,单位为字节;base为转换单位的基准,我这里取1G,所以是1x1024x1024x1024bytes,其他单位转换同理;第三步real只需要做除法即可,bc是shell自带运算处理,这里做2位小数保留,...

2020-04-27 14:31:49 672

原创 Scala 获取时间,时间戳,时间差

经常遇到处理时间与获取当前时间,记录一下:1.获取时间1)获取当前时间dateFormat规定好想要的数据格式 常用的对应如下:格式 yyyy MM dd HH mm ss 对应 年 月 日 小时 分钟 秒 编程中常用的:常用模式 yyyyMMdd yyyy-MM-dd ...

2020-04-26 14:19:20 11511

原创 Shell 常用分割字符串

经常需要用shell对字符串或者路径解析,mark两种自己常用的分割方法:1.awk示例:echo $name|awk -F '_' '{print $1}'Tip: -F后面跟要使用的分隔符 $1类似于取分割后的第一个内容,输出最后一个内容的话 就使用$NF;有时也可以不规定分隔符,awk自动推断并分割 比如 \t 之类的2.cut示例:echo $name...

2020-04-13 16:48:34 1350

原创 Scala 序列化 反序列化 Object

网上的序列化object教程都是基于Java写的,没有Scala版本,只能自己动手改造一下= =1.要序列化类,首先写一个基础类供我们操作:非常基础,只有姓名和年龄两个变量的基础类class Student() extends java.io.Serializable{ var name: String = _ var score: Double = _ def set......

2020-04-09 13:06:47 4167 2

TED Topic For Different Context

TED Topic For Different Context

2024-06-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除