甘焕的博客

专注于大数据及可视化研究

Javascript:巧用n进制做加密与解密

对于安全型较低的应用,不妨试试Javascript的n进制转换,能达到简单的对称加密效果。 1. 加密 对于数字,转换为Number进行toString操作即可,toString接受一个进制转换的参数,取值范围为1~36,如下: var x = 640520; // 将x转换为32进制 var ...

2018-11-20 14:52:48

阅读数 68

评论数 0

程序员生活杂记四:脱发

领导问:“你头发怎么这么少了?” 答:“项目赶得太急,我跑得太快,头发没追上!” 测试经理:“你头发怎么这么少了?” 答:“因为我不想让别人抓到我代码的小辫子!” 女朋友问:“你头发怎么这么少了?” 答:“因为头发觉得我太偏心了,只爱代码不爱他!” 老婆:“你头发怎么这么少了?” 答:“为了省点洗...

2018-09-20 17:23:33

阅读数 268

评论数 0

HIVE:hivevar、hiveconf与define参数的差异与用法

HIVE CLI中有三种定义属性或变量的参数,分别是: 文章目录1. hiveconf2. hivevar3. define 1. hiveconf hiveconf用于定义HIVE执行上下文的属性(配置参数),可覆盖覆盖hive-site.xml(hive-default.xml)中的参数值,如...

2018-09-20 15:58:11

阅读数 457

评论数 0

Presto “Column 'xxx' cannot be resolved”的解决办法

在使用Presto的过程中,提示如下错误: Query 20180912_035603_00940_xc5ft failed: line 1:75: Column 'xxx' cannot be resolved LINE 1: select system, concat(year, month,...

2018-09-20 15:56:49

阅读数 510

评论数 0

Presto与Spark SQL查询性能比较

1. 数仓环境 指标名称 指标值 数据总量 24T 分区数量 24 存储类型 Text Spark SQL版本 Pres同版本 2. 分页查询 所有的计算时间都以秒为单位,执行的SQL语句如下:...

2018-09-20 15:53:41

阅读数 1043

评论数 0

Spark-SQL导出查询结果的两种方式

为了分析数据的需要,我们需要导出Spark-SQL的查询结果,通过Spark SQL CLI有两种方式。 1. 使用“-e”参数 与“Hive”一样,Spark SQL CLI也支持“-e”参数,使用方式如下: # 分成多行是为了便于阅读 # 执行时请去掉多余的回车 spark-sq...

2018-09-06 18:07:49

阅读数 1298

评论数 0

HttpClient提交表单出现中文乱码的解决办法

有个项目需要为图片添加水印,本来运行得很好,但后来增加了自定义水印内容的需求,且需要支持中文,于是很简单地添加了表单描述字段“remark”,但后端解析到的字符为一连串“?”(难道水印也是满脸的懵逼?),代码如下: HttpEntity reqEntity = MultipartEntity...

2018-09-06 18:01:42

阅读数 226

评论数 0

一种快速切割字符串的方法

在项目中,经常需要对字符串进行切割转换,以日期字符串“2018121810”为例,惯性的思维是利用DateFormat函数,如下: val srcDf:Sdf = new Sdf("yyyyMMddHH") val time: Date =...

2018-09-06 17:59:51

阅读数 161

评论数 0

Spark:flatmap函数提示“ambiguous implicit values”的解决办法

很简单的Spark Rdd操作,提示如下错误: Error:(46, 15) ambiguous implicit values: both method newIntEncoder in class SQLImplicits of type => org.apach...

2018-09-06 17:56:00

阅读数 154

评论数 0

Scala守卫语句的两种用法

相比于JAVA,Scala的if增加了两项强大的功能,一是可以直接作为赋值语句,另一种功能是作为守卫语句,不仅远远超过JAVA,甚至也将PYTHON抛在身后。 1. if作为赋值语句 作为赋值语句,不仅仅只是替代了三元运算符,而且还能支持逻辑语句块,如下: val (a, b) = ...

2018-09-03 22:37:17

阅读数 253

评论数 0

R语言:因子与字符串的互转

在导入大批量数据时,如果没有显式地指定“stringsAsFactors = FALSE”,默认会将所有的字符串转换为因子,导致数据处理速度较慢。 示例数据如下: name,math,english,sex,year "yiifaa",6...

2018-09-02 19:55:45

阅读数 1813

评论数 1

R语言:“cannot open the connection”的解决办法

在R语言的实践中,读入数据文件几乎是必须的操作,但没有设置好工作空间的位置,将会提示如下错误: Error in file(file, "rt") : cannot open the connection In addition: Warn...

2018-09-02 18:11:15

阅读数 3851

评论数 2

Scala型变:不变、协变及逆变

Scala在高阶类型的使用中,有三种变化,分别是顺变、协变及逆变,下面详细讲讲它们的含义与应用。 1. 高阶类型 高阶类型是接受其他参数用来构造新类型的,所以又称为“类型构造器”,用type关键字来定义: // 定义高阶类型 type Foo[T] = Function0[T] ...

2018-08-31 16:46:31

阅读数 99

评论数 0

程序员生活杂记三:并行与并发

那天,被产品经理、测试、UI设计群殴了一顿,突然恍然大悟,他们真行啊,竟然使出了并行绝招。 我擦一下鼻血,写一行代码,骂一句:“我只会单线程并发啊!”...

2018-08-30 22:31:56

阅读数 76

评论数 0

Scala隐式转换函数的应用与总结

在(《Scala隐式类型约束的应用与总结》)[https://blog.csdn.net/yiifaa/article/details/82054393]中,我们讲解了隐式对象约束的方法,但在实践中,虽然其定义了统一的特质,便于实现与约束,但稍显复杂,这里还有一种替代方案——隐式转换函数,其接口声...

2018-08-30 21:44:34

阅读数 60

评论数 0

Scala隐式类型约束的应用与总结

在《从JAVA到Scala(三):implicit的三种用法》中,详细地说明了“implicit”关键字的用法,但在实际中,它们可能结合使用为一种模式,比如play框架的JSON用法。 // 在JSON化实例之前,必须定义隐式类型Writes[Location] implicit val ...

2018-08-25 19:21:29

阅读数 71

评论数 0

程序员生活杂记二:野草

       三月,深夜,咸阳宾馆。        顾老板在笑,笑得很开心,自从那位老人来后,白天会议室,晚上标准间,另加上一日三餐,都被她订得满满当当。 封闭开发,虽然他不懂,但是他从心里一直喜欢到脸上,甚至都想开心地吼出来。        但,他也有一丝担忧,或许下个月,那个老人就离开了...

2018-08-24 07:50:31

阅读数 101

评论数 0

程序员生活杂记一:光盘与电工

       终于确定了工作,成为了二线城市电力公司下属企业的程序员。        带着小兴奋,给老家大舅一个电话:“我找好工作了,是程序员!”        那边传来了迷茫的声音:“啥?”        我赶紧解释:“就是开发软件的。”        大舅:“软件?是不是制碟子(制作光...

2018-08-24 07:43:32

阅读数 73

评论数 0

启动Play报错“play.core.server.DevServerStart”的解决办法

启动Play框架,提示如下错误: [error] java.lang.ClassNotFoundException: play.core.server.DevServerStart [error] at java.base/java.net.URLClassLoader.findCl...

2018-08-24 07:40:50

阅读数 122

评论数 0

sbt-assembly在Spark应用架包冲突的解决办法

在利用sbt-assmebly对Spark应用打包时,提示如下错误: java.lang.RuntimeException: deduplicate: different file contents found in the following: [error] C:\Users\didi\...

2018-08-22 22:28:26

阅读数 172

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭