数据挖掘
数据挖掘算法以及框架使用相关文章
Trident_lin
此人很帅,什么都没有写
展开
-
Tensorflow视频学习总结文档
Tensorflow学习中,在学习了基础知识和创建简单模型后,发现可以利用已有函数retrain.py直接采取一个InceptionV3架构模型训练ImageNet图像和训练新的顶层。这个运用可以不需要基础就运用起来,如果想认识retrain.py怎么运作的,可以看源代码或者文章:https://blog.csdn.net/daydayup_668819/article/detail...原创 2018-05-09 19:10:17 · 1071 阅读 · 3 评论 -
在不同文件中使用Tensorflow训练网络保存模型载入模型遇到的问题
1.Object of type 'float32' is not JSON serializable,这个问题是因为tensorflow计算过程中得到的float类型是<class 'numpy.float32'>,是不被json支持的,直接用float()转换就好;2. 类似File "/home/lin/.local/lib/python3.6/site-package...原创 2019-03-09 17:54:47 · 695 阅读 · 0 评论 -
caffe训练数据中出现[data_layer.cpp:73] Restarting data prefetching from start. 的问题
一开始在网上查了许多的,有人回答说是之前的一些prototxt文件参数设置有问题,还有人说是batch_size相对于整个数据集太大的问题。 我一开始也以为这是个warning提示,会对训练结果产生影响,但是稳步上升的accuracy,又觉得是没问题的。 于是我现在觉得,这个提示,仅仅是个提示,对训练结果是没有任何影响的。 我的...原创 2018-12-07 17:25:44 · 1372 阅读 · 0 评论 -
k-medoid(k中心点)聚类算法Python实现
k-means算法有个很大的缺点,就是对孤立点敏感性太高,孤立点即是脱离群众的点,与众不同的点,即在显示中与其他点不是抱在一团的点。为了体现两者的不同,我特意温习了一下知识,在构造初始点的时候,自己定义加入了几个孤立点,使用k-means算法跑的效果如下:一开始的所有点:(可以看出其他点是混在一起有许多分类的)使用k-means算法运行,定义3个中心点:可以看到...原创 2018-12-06 23:27:03 · 31292 阅读 · 11 评论 -
Caffe中upgrade_proto.cpp:88] Check failed和upgrade_proto.cpp:1101] Check failed的问题
用脚本文件Caffe训练自己的图片分类时,遇到了个问题:upgrade_proto.cpp:88] Check failed: ReadProtoFromTextFile(param_file, param) Failed to parse NetParameter file查了一下,有答案说是因为生成的数据格式和训练格式不一致,核对下生成数据库文件时设置的--backend数据格式是...原创 2018-11-28 22:37:18 · 2156 阅读 · 0 评论 -
Caffe训练个人数据并调用模型进行分类
最近有份作业,需要用到cafee做一些图片分类方面的,用惯Tensorflow了就gg,图片集用了华南理工大学的图片集。一开始的安装由于我懒,所以让个有经验的同学帮我装了下,本来想亲力亲为的我,真香由于我之前装了tensorflow-gpu,CUDA版本9.0,caffe现在好像支持最高8.0,用9.0是会build不出来的,嫌麻烦我直接装cpu版了。然后想先做个简单的分类练一下手,第...原创 2018-11-27 15:44:51 · 387 阅读 · 0 评论 -
C4.5决策树学习(基于集体智慧编程代码)
我在上一篇实验报告中有总结了ID3,C4.5,CART各决策树的不同,其中,有关于ID3和C4.5的不同,见文章.上篇文章可能并没有侧重于这两种的不同,于是我仔细研究了一下,并采用《集体智慧编程》一书中的有信息熵和决策树的代码,见github地址,自行进行信息增益率的计算.我的理解,看上文图中的公式,就能看出,SI(D,A)分裂信息值(以下简称SI)简直跟熵的计算方式一模一样,就是看属性的...原创 2018-11-25 18:48:28 · 253 阅读 · 0 评论 -
决策树算法学习总结
在大二第一学期因为兴趣原因,自己学习了一些数据分析的算法,这里面便包含决策树,总的来说,学习的情况还是比较良好的,有那个意愿自己去学习.现在想想,那时的学习过程还是挺艰辛的,因为其实几种决策树,ID3,C4.5,CART之间的区别,当时在网上是有很多说法的,或者说其实很多说法说的都对,但都是答案的一部分,当时查了很久不得其解,比如说有的说CART跟其他两种的区别在于用GINI属性来划分属性,有的说...原创 2018-11-25 16:14:20 · 1785 阅读 · 1 评论 -
Apriori算法详解
Apriori算法总结一、背景 关联规则学习(Association rule learning)是一种在大型数据库中发现变量之间的有趣性关系的方法。它的目的是利用一些有趣性的量度来识别数据库中发现的强规则。关联分析是一种在大规模数据集中寻找有趣关系的任务。这些关系可以有两种形式:频繁项 集或者关联规则。频繁项集(frequent item sets)是经常出现在一块的物品的集合,关联...原创 2018-11-01 03:16:29 · 54428 阅读 · 6 评论 -
用LSTM做时间序列预测的思路,tensorflow代码实现及传入数据格式
首先推荐一个对LSTM一些类函数进行说明的博客:函数说明我的目标是用LSTM进行某种水果价格的预测,一开始我的做法是,将一种水果前n天的价格作为变量传入,即这样传入的DataFrame格式是有n+1列,结果训练出来的效果不尽人意,完全比不上之前我用ARIMA时间序列去拟合价格曲线.之后继续浏览了很多博客,资料什么的,终于明白了一个参数:time_step的意义,LSTM,长短时训练网络,...原创 2018-10-27 10:08:17 · 7381 阅读 · 11 评论