止鱼

也甘愿赴汤蹈火去走它一遍

Hive获取String类型的json array字段值

1、场景 表中有一个字段poschain,为json_array,但是是String类型的,无法直接通过get_json_object(poschain[0],'$.id')来获得 [{"gameId":"622470","traceId"...

2019-05-08 21:02:36

阅读数 8

评论数 0

Pycharm引用turtle海龟绘图无法识别对应方法 cannot resolve refrenses ‘penup'等方法

1、问题现象 使用pycharm,调用turtle包,绘制图无法调用相关方法,提示 cannot resolve refrenses ‘penup’等,但可以正常运行 2、问题原因 pycharm和turtle库有冲突,不能自己识别出turtle下的方法 3、解决 点击进入turtle文件,修改‘...

2019-05-06 17:19:12

阅读数 41

评论数 0

Intellij Idea 多模块Maven工程中模块之间无法相互引用问题

一、问题背景 在Intellij idea中,新建Maven项目,在魔项目中新建多个模块,发现模块间相互调用失败 二、问题原因 模块间无法相互引用为IDEA的一个BUG 三、问题解决 1、点击项目右上角 【Project Struct】(Mac快捷键: ⌘;) 2、选中modules-&...

2019-04-23 11:56:55

阅读数 25

评论数 0

Hive高阶聚合函数 GROUPING SETS、Cube、Rollup

GROUPING SETS GROUPING SETS作为GROUP BY的子句,允许开发人员在GROUP BY语句后面指定多个统计选项,可以简单理解为多条group by语句通过union all把查询结果聚合起来结合起来,下面是几个实例可以帮助我们了解, 以acorn_3g.test_xi...

2019-04-06 12:22:12

阅读数 59

评论数 0

Git 首次提交

1、本地建立新工程 IDEA > FILE > new maven project 2、在git页面上创建新的工程 创建的项目名称需要与 artifactId 一致 3、Git操作: $ git init $ git remote add origin git@x...

2019-04-03 20:35:16

阅读数 15

评论数 0

centos7 安装 nginx

1.安装反编译工具 $ yum -y install make zlib zlib-devel gcc gcc-c++ libtool openssl openssl-devel pcre pcre-devel //PCRE 作用是让 Nginx 支持 Rewrite 功能 2.验证是否成功...

2019-03-29 16:59:48

阅读数 1886

评论数 0

Linux技巧-删除 git项目文件夹等需要重复需要输入 y/yes 解决办法

在删除git项目的文件夹时,需要重复输入 y/yes ,让人烦恼! [zjf@server test]$ rm -r ./git-project rm: remove write-protected regular file ‘./huyu-ai-train/.git/objects/74/3aa...

2019-03-21 22:39:08

阅读数 40

评论数 0

特征工程-特征归一化

1、场景描述: 为了消除数据特征之间的量纲影响,需要对特征进行归一化(Normalization)处理,使得不同特征处于同一个数量级,具有可比性 2、常用的归一化方法 2.1、线性函数归一化(Min-Max Scaling) 对原始数据进行线性变换,使结果映射到 [0,1] 的范围内,实现对原始数...

2019-03-04 23:17:53

阅读数 618

评论数 0

WordEmbedding之Word2Vector

1. 安装 gensim source activate python362 conda install -n python362 gensim 2. 实操 2.1 基本数据(语料) 语料文件可以一行一行 ,也可以使用分词后的空格分割的文本 (python362) zjf@zhangjifei...

2019-02-23 15:21:45

阅读数 105

评论数 0

Hive中对array类型字段的处理

现在有一张表,2个字段,字段A:id, 字段B:array类型: col_name data_type gameid int businesstype array select gameid, businesstype from kua.tablea where date...

2019-01-23 16:35:47

阅读数 1027

评论数 0

Spark 作业执行常用参数、常用优化参数

1. spark重试次数 失败重试次数,默认重试4次,前期任务调试阶段,重试次数最好设置为1,可以较快得到执行结果;后期业务上线,也使用默认参数 --conf spark.yarn.maxAppAttempts=1 2. 开启Driver多线程机制 .set("spark....

2019-01-23 16:06:09

阅读数 103

评论数 0

2019年了,要加油!

2019年了,要加油!

2019-01-01 00:06:28

阅读数 1245

评论数 1

SparkStreaming编程优化经验

1.代码精简、逻辑清晰 代码的精简往往能带来很大的提升,这一点甚至比外部的调优效果更好。比如去除一些不必要的filter、选择合适的算子 2.避免shuffle 所谓shuffle,就是在网络间传输数据。Spark作业运行过程中,最消耗性能的地方就是shuffle过程。shuffle过程,简单来说...

2018-12-11 11:29:21

阅读数 252

评论数 0

Spark 引用ProtoBuffer报错:Unable to find proto buffer class

使用 yarn 的spark-submit提交时,加入超序列化参数: --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \ 另,附:Spark-submit提交作业的shell版本模板。 一个好的shell脚...

2018-12-02 11:51:27

阅读数 159

评论数 0

Spark异常:task cannont be Serializable

原因: 在入库操作中,在 map\foreachePartition 等等分布式环境中new了连接对象(可以是redis、mysql等等),而此连接对象只能在本机起作用他们无法被序列化,所以在别的机器中找不到连接对象 类似下例代码,就会抛出该错: val imClient = MistoreCli...

2018-12-02 08:08:38

阅读数 78

评论数 3

Mac/Linux 配置多版本Java,并实现命令行快速切换

0. 目标 使用简单快捷的命令行,快速的切换本机的Java环境 1. 下载JDK 1.8:官网下载; 1.7:https://pan.baidu.com/s/1iCWtZhK_E-KYwZJcMqQ-mQ 2. 安装JDK 一路next 安装完成的路径:/Library/Java/JavaVir...

2018-11-23 10:08:06

阅读数 203

评论数 0

使用BetterTouchTool自定义你的touchBar

2017年Apple发布了新款Mac,键盘上多了条显示屏,即所谓的TouchBar,奈何这玩意只能显示固定的几种插件,太浪费了 1. 什么是BetterTouchTool BetterTouchTool是一款@Vas3k开源的touchbar插件,可以做到自定义。 Git地址:https://...

2018-10-29 17:56:40

阅读数 2333

评论数 4

scala语法 -多维数组

不多BB,上代码 def testMatrixA () = { val matrix = Array.ofDim[Int](3, 4) printMatrix(matrix) } def printMatrix(matrix: Array[Array[Int]])...

2018-10-17 21:16:00

阅读数 842

评论数 0

scala语法 - 方法与函数

Scala 有方法与函数,二者在语义上的区别很小。Scala 方法是类的一部分,而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。 Scala 中的方法跟 Java 的类似,方法是组成类的一部分。 Scala 中的函数则是一个完整的对象,Scala 中的函数其实就是继承了 T...

2018-10-15 21:26:31

阅读数 123

评论数 0

Linux技巧--删除某列

1. 先指定替换需要删除的列 ## 删除逗号分隔的文件test中的第二列 cat ./test | awk -F, '{$2=null;print $0}' 2. 使用AWK的输出分隔符,进行替换分隔符 awk 'BEGIN{OFS=",";}...

2018-10-10 19:30:08

阅读数 2687

评论数 0

提示
确定要删除当前文章?
取消 删除