数据之美的博客

玩机器学习的总要会玩数据才行

Python编程-staticmethod 和 classmethod 和 实例方法

众所周知,类是创建实例的模板,而实例是一个个具体的对象,各个实例拥有的数据相互独立、互不影响。 在类中定义的函数称为方法,主要有三种:实例方法、类方法、静态方法 class A: def instance_method(self, n): print('self',...

2019-06-26 00:01:31

阅读数 3

评论数 0

python3入门之堆(heapq)

堆是一个二叉树,其中每个父节点的值都小于或等于其所有子节点的值。整个堆的最小元素总是位于二叉树的根节点。python的heapq模块提供了对堆的支持。 堆数据结构最重要的特征是heap[0]永远是最小的元素 heapq.heappush(heap,item) 注:heap为定义堆,item增加...

2019-06-23 22:25:49

阅读数 15

评论数 0

LeetCode--279. Perfect Squares(完美平方)Python

题目: 给定一个正整数n,一定存在若干整数平方和为该正整数,求满足该条件的最小整数个数。平方数为(1,4,9,16......),使其和为n。例如给定n=12,则返回3,因为12=4+4+4;给定n=13,则返回2,因为13=4+9. 解题思路: 1、使用动态规划,维护一个长度为n+1的数组...

2019-06-17 22:45:47

阅读数 9

评论数 0

MAC安装pytorch

在机器学习常用的python包anconda下,安装pytorch的步骤非常简答 安装命令: conda install pytorch torchvision -c pytorch -y 直接一步到位! 如果安装过程中,出现下面的连接http时获取URL内容方面的错误时,没关系,再...

2019-06-05 14:59:26

阅读数 36

评论数 0

numpy.random.permutation() ,使用numpy随机打散训练数据,同时保持训练数据与标签的对齐

如果训练数据之间相关性很大,比如配对是按照从1到9开始的顺序,则用这样的训练数据训练时很可能导致训练的泛华能力不足,所以有必要训练前把训练数据打乱,同时还要保持打乱前训练数据和训练标签的对应关系。 numpy.random.permutation(length)用来产生一个随机序列作为索引,再使...

2019-06-03 19:16:48

阅读数 75

评论数 0

Hive中and和or的执行顺序

今天在网上看到hive中and的执行优先级比or高,觉得很奇怪,于是就亲自尝试了一下,发现果然如此,下面是我测试的一些简单语句: select1 from student where 1=0 or 1=1 and 1 = 0; 执行结果为空 select 1 from student whe...

2019-05-23 00:58:38

阅读数 10

评论数 0

小样本学习:few-shot learning

转载请注明原博地址:https://blog.csdn.net/xhw205/article/details/79491649 小样本学习 来源:我们人类是具有快速从少量(单)样本中快速学习能力的,其实在我们学习的过程中,人类的大脑将对象和类别组成有用的信息将之分类。 首先需要声明的是,小样本学...

2019-05-23 00:45:42

阅读数 19

评论数 0

Net2Net 知识迁移 加速神经网络的训练

论文链接:Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER 什么是Net2Net? Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题,例如先训练一个小的网络,然后Net2Net,训练一个更大的网络...

2019-05-20 14:53:15

阅读数 12

评论数 0

git命令-下载指定branch的项目源码

1.下载主分支代码 git clone 代码ssh地址 2.当不需要下载所有的代码,而只需要下载某一个分支的代码 git clone -b 分支名称 --single-branch 代码ssh地址 假设该分支名称为feature/algorithm,代码地址为ssh://git@git...

2019-05-15 10:57:19

阅读数 21

评论数 0

Hbase WAL

问题:现在测试平台hbase升级到hbase1.3,在测试过程中,发现吞吐上不去,也有时延较大的情况。hbase很多参数是已经调优过的,所以问题应该不是这块。 1.监控region server日志,发现以下日志非常非常频繁 2019-05-09 09:51:20,283 INFO org.a...

2019-05-10 13:39:27

阅读数 50

评论数 0

kettle 一些错误解决方法

使用kettle 过程中,kettle导出为ORC时,报了不少Class Not Found的错。都是由于少包的缘由。把一些问题的解决方法记录下来,可供参考。 kettle版本:kettle-8.2.0.0-342 CDH5.1.4 Q: java.lang.NoClassDefFoundE...

2019-05-10 12:45:15

阅读数 120

评论数 0

ks:能定阈值的评价指标

机器学习中,常用到的AUC能很好地描述模型整体性能的高低。除了AUC,还有一个指标也能达到相同的效果,那便是ks。不仅如此,ks还能给出最佳的划分阈值。那么,ks具体是什么指标?计算方式和AUC有何不同? KS评价指标 KS(Kolmogorov-Smirnov)评价指标,通过衡量好坏样本...

2019-05-04 14:30:37

阅读数 81

评论数 0

怎么在linux上运行Kettle任务

在linux上运行kettle转换任务 (需要先上传kettle程序包至服务器) 任务是从Cassandra抽取数据到hdfs上,这个转换的任务请参考上一篇博客https://blog.csdn.net/oppo62258801/article/details/89501428。 考虑到放在...

2019-04-26 11:32:53

阅读数 309

评论数 0

ETL-kettle踩坑:从Cassandra到HDFS

kettle是一个开源的ETL工具,基于java,在windows和linux上都可以解压后直接使用。最近在用kettle从Cassandra向hdfd抽取数据的时候,遇到不少问题,特此记录一下。 版本信息: java: 1.8 kettle: kettle-8.2.0.0-342 had...

2019-04-24 20:52:55

阅读数 106

评论数 0

scala运行报错-找不到或无法加载主类

一般是由于scala版本和java版本不兼容导致的,将两者调成兼容即可。

2019-04-19 18:18:29

阅读数 96

评论数 0

git push代码到远程新分支

Git push 获取远程代码修改后,想要push到远端与原来不同的新分支,可以使用下面的命令实现: git push origin 本地分支:远端希望创建的分支 例如git下来的分支为master git branch >>> *master g...

2019-04-11 19:22:45

阅读数 24

评论数 0

机器学习之奥卡姆剃刀原理

奥卡姆剃刀原理是指,在科学研究任务中,应该优先使用较为简单的公式或者原理,而不是复杂的。 应用到机器学习任务中,可以通过减小模型的复杂度来降低过拟合的风险,即模型在能够较好拟合训练集(经验风险)的前提下,尽量减小模型的复杂度(结构风险)。 ...

2019-04-10 09:59:00

阅读数 207

评论数 0

GitHub的Fork操作介绍

现在有这样一种情形: 有一个叫做Joe的程序猿写了一个游戏程序,而你可能要去改进它。并且Joe将他的代码放在了GitHub仓库上。 下面是你要做的事情 fork并且更新GitHub仓库的图表演示 Fork他的仓库:这是GitHub操作,这个操作会复制Joe的仓库(包括文件,提交历史...

2019-03-25 19:15:25

阅读数 24

评论数 0

BAT去年在KDD上作为第一单位发表的12篇文章!(内附每篇文章解读)

转自http://www.eeworld.com.cn/mp/QbitAI/a58948.jspx,如有侵权,请及时联系我 如今,全世界每天都有几十亿人在使用计算机、平板电脑、手机和其它数字设备产生海量数据。各个行业和领域都已经被数据给渗透,数据已成为非常重要的生产因素的大数据时代,数据挖掘这一...

2019-03-22 13:33:56

阅读数 144

评论数 0

hive中多个字段拼接注意躲避空值坑

select concat(leix01,leix02,leix03) from dim_ivr_dictionary where ivr_table like 'zj%' and bm='40102'; select concat(nvl(leix01,''),nvl(leix02,''),n...

2019-03-14 15:08:13

阅读数 95

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭