2019年05月_看穿数据之美

转载 Hive中and和or的执行顺序

今天在网上看到hive中and的执行优先级比or高，觉得很奇怪，于是就亲自尝试了一下，发现果然如此，下面是我测试的一些简单语句：select1 from student where 1=0 or 1=1 and 1 = 0;执行结果为空select 1 from student where 1=0 or 1=1 and 1 =1;执行结果为1第二个select语句毫无疑问w...

2019-05-23 00:58:38 6006

转载小样本学习：few-shot learning

转载请注明原博地址：https://blog.csdn.net/xhw205/article/details/79491649小样本学习来源：我们人类是具有快速从少量（单）样本中快速学习能力的，其实在我们学习的过程中，人类的大脑将对象和类别组成有用的信息将之分类。首先需要声明的是，小样本学习属于迁移学习。接着，举个例子详细阐述。人类从未见到过“澳大利亚的鸭嘴兽”，给我们一张鸭嘴兽的照片...

2019-05-23 00:45:42 5201

转载 Net2Net 知识迁移加速神经网络的训练

论文链接：Net2Net: ACCELERATING LEARNINGVIA KNOWLEDGE TRANSFER什么是Net2Net？Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然后Net2Net，训练一个更大的网络，训练更大的网络时可以利用在小网络中已经训练好的权重，使得再训练大型的网络速度就变的非常快，利用小网...

2019-05-20 14:53:15 562

原创 git命令-下载指定branch的项目源码

1.下载主分支代码git clone 代码ssh地址2.当不需要下载所有的代码，而只需要下载某一个分支的代码git clone -b 分支名称 --single-branch 代码ssh地址假设该分支名称为feature/algorithm，代码地址为ssh://git@git.company.com/data/ml.gitgit clone -b feat...

2019-05-15 10:57:19 2700

原创 Hbase WAL

问题：现在测试平台hbase升级到hbase1.3，在测试过程中，发现吞吐上不去，也有时延较大的情况。hbase很多参数是已经调优过的，所以问题应该不是这块。1.监控region server日志，发现以下日志非常非常频繁2019-05-09 09:51:20,283 INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow s...

2019-05-10 13:39:27 4166

原创 kettle 一些错误解决方法

使用kettle 过程中，kettle导出为ORC时，报了不少Class Not Found的错。都是由于少包的缘由。把一些问题的解决方法记录下来，可供参考。kettle版本：kettle-8.2.0.0-342CDH5.1.4Q: java.lang.NoClassDefFoundError: org/apache/orc/TypeDescription加orc-core-1.2...

2019-05-10 12:45:15 28931 5

转载 ks：能定阈值的评价指标

机器学习中，常用到的AUC能很好地描述模型整体性能的高低。除了AUC，还有一个指标也能达到相同的效果，那便是ks。不仅如此，ks还能给出最佳的划分阈值。那么，ks具体是什么指标？计算方式和AUC有何不同？KS评价指标KS（Kolmogorov-Smirnov）评价指标，通过衡量好坏样本累计分布之间的差值，来评估模型的风险区分能力，KS指标在互金行业可能用到的更多一些，用于评估模型对好...

2019-05-04 14:30:37 2619

数据之美的博客