AI平台-机器学习-语音-图像(python)
我承包的鱼塘
奋斗的少年
展开
-
scikit-learn模型理解
1.线性回归模型(本质上是利用普通最小二乘法): 数学表达式: from sklearn import liner_modelclf = liner_model.LinearRegression()clf.fit([[0,0],[1,1],[2,2]],[0,1,2])prin...原创 2018-03-06 22:24:57 · 411 阅读 · 0 评论 -
cifar10 部分代码解释
代码: /tensorflow_models/tensorflow_models/tutorials/image/cifar10CIFAR10数据集介绍: CIFAR10 图片: 32x32x3 lable: 0~9 所以CIFAR10一条数据大小: 32*32*3+1 CIFAR10包...原创 2019-03-17 21:31:34 · 321 阅读 · 0 评论 -
tensorflow Ps-Worker架构
今天写一些tensorflow分布式训练Ps-worker架构,PS : 执行模型相关的作业,包括模型参数存储,分发,汇总,更新Worker: 执行训练相关的作业,包括推理计算和梯度计算。Ps-worker 架构分布式模型的流程: 1. pull :各个worker根据数据流图的拓扑结构,从PS拉取最新的模型参数 2. feed: 各wo...原创 2019-03-17 21:10:58 · 10299 阅读 · 2 评论 -
PCA算法理解
其实PCA算法与SVD算法目标是一致的,就是简化数据,去噪,PCA有个缺点,可能会缺少重要信息。PCA有一个核心思想: 方差最大的方向表示数据中最重要的信息。所以PCA算法是在原数据上从新建立一个坐标,新坐标是按照方差最大的方向上建立。程序上是 1. 需要数据归一化 2. 计算协方差 3. 计算协方差的特征值和特征向量(新的坐标轴)...原创 2019-03-16 13:53:45 · 481 阅读 · 0 评论 -
菜品推荐系统
推荐系统可能有很多种算法,这里简单概述一下推荐系统的过程,数据如下:列是菜品横是用户中间是用户对菜品的评分,模拟给用户U1推荐菜品,推荐一个菜品(用户没有吃过的)1. 给用户推荐的肯定是客户没有吃过的菜品: 可以给客户U1推荐 F6, F7 菜品,2. 根据U1的历史数据,以及其它客户数据给F6,F7评分 对F6评分: ...原创 2019-03-16 09:43:32 · 6834 阅读 · 2 评论 -
SVD算法理解
SVD是一种强大的降维工具,同时也用于去噪,或图片压缩,本质上SVD是使用奇异值分解,这是矩阵中的一种解法。SVD算法将原始数据Data, 分解为 UVT即: 维度 DATA : (m, n) U: (m, m) 其实U是一个正交...原创 2019-03-15 23:21:20 · 7751 阅读 · 0 评论 -
FP-growth算法的理解
FP-growth是发现繁集项的一种算法,说到它大家都在把它与Apriori算法做比较,得出来的是FP-growth算法发现繁集项更快,Apriori中有两个概念: 1. 支持度: 某一事物占所有事物的比例 2. 置信度: 类似条件概率,A ==> B 的置信度 支持度{A,B}/支持度{A}FP-growth比Ap...原创 2019-03-19 18:30:57 · 1022 阅读 · 0 评论 -
灰色关联分析
灰色关联分析是灰色理论中的一种运用。灰色理论认为系统的行为现象是朦胧的,数据是复杂的。灰色理论建立的是生成数据的模型,不是原始数据模型。所谓灰色系统是介于白色系统和黑箱系统之间的过渡系统。原始数据:整理成数据:data =[ [102.4, 102.8, 103.1, 102.9, 103.3, 103.5, 103.6, 104.4, 105.1, 1...原创 2019-03-04 23:22:17 · 9553 阅读 · 0 评论 -
kaldi安装
kaldi 依赖于python3 (自己安装好)git clone https://github.com/kaldi-asr/kaldicd kaldi/tools/extras./check_dependencies.sh#缺少包会提示,自己安装一下cd ../makecd ../src./configuremake depend makemake install...原创 2019-02-05 13:00:28 · 2500 阅读 · 0 评论 -
openCv python 使用笔记
OpenCv 是Intel开发的一个图像处理库,它是用C++写的,在图像处理和机器视觉领域发挥巨大作用。目前不管是商业还是非商业用途都是开源免费的。现在来了解一下图像,图像的构成 图像是由多个像素构成的,每一个像素值是 0 ~255 的一个值 或者多个值(多通道),用px表示。 在数学或者是说计算机中表达图像是用一个二维...原创 2018-05-20 22:08:40 · 646 阅读 · 0 评论 -
数据挖崛之数据探索
数据挖崛建模过程: 1. 定义挖崛目标 2. 获取数据 3. 数据探索 4. 数据预处理 5. 挖崛建模 6. 模型评价数据探索: 数据探索指的是: 通过检验数据集的数据质量,绘制图表,计算某些特征量等手段,对样本数据集的结构和规律进行分析的过程。 数据探索主要分析数据...原创 2018-03-05 22:39:06 · 410 阅读 · 0 评论 -
数据挖崛之数据处理
数据处理: 在数据挖崛中,数据探索之后,我们就该数据处理了,数据处理分为4步: 1. 数据清洗 2. 数据集成 3. 数据变换 4. 数据规约 数据处理之数据清洗: 1. 主要是删除无关数据,重复数据。 2. 处理异常缺失值 1. 删除 ...原创 2018-03-08 23:03:14 · 184 阅读 · 0 评论 -
数据挖崛之ID3算法
今天想详细地写一下ID3算法,ID3算法是一种决策树算法,也是最经典的决策树分类算法。首先看看什么是决策树决策树: 决策树是一树状结构,它的每一个叶节点对应着一个分类,非叶子节点对应着某个属性上的划分,根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是什么? 构造决策树的核心问题是每一步选择适当的属性对样本进行拆分。决策树在分类,预测,规则提取方...原创 2018-03-20 21:01:07 · 312 阅读 · 0 评论 -
scipy.sparse 稀疏矩阵的转化
indptr = np.array([0, 2, 3, 6])indices = np.array([0, 2, 2, 0, 1, 2])data = np.array([1, 2, 3, 4, 5, 6])scipy.sparse.csc_matrix((data, indices, indptr), shape=(3, 3)).toarray()output:array([[...原创 2019-01-28 17:10:29 · 9955 阅读 · 1 评论 -
贝叶斯定理
贝叶斯定理: P(A, B) = P(B, A) A, B都发生的概率 P(A|B) * P(B) = P(B|A) * P(A) ===> P(A|B) = P(B|A) * P(A)/P(B)运用吸毒者检测: 1. 常规的检测结果的敏感度和可靠度为0.99 2. 公司全体体检...原创 2019-01-28 14:42:17 · 184 阅读 · 0 评论 -
Platt SVM
不满足KKT条件,需要优化图片是截取: https://blog.csdn.net/weixin_39605679/article/details/81170300 网站的转载 2018-11-28 23:23:27 · 327 阅读 · 0 评论 -
决策树-熵 理解和使用
熵开始是应用在物理学的,后来才应用到信息,等多个领域。熵值表示系统的不确定性大小,熵值越大表示的系统越不稳定,公式如下:p(xi) 是第i个元素的概率, H(X)是整个系统的熵值 决策树特点: 优点: 计算复杂的不高,输出结果易于理解,对中间的缺失值不敏感 缺点: 可能会产生过度匹配的问题 适用数据类型: 数值类型和标...原创 2018-11-05 00:26:18 · 1505 阅读 · 0 评论 -
k近邻算法--理解和使用场景
1. k近邻算法: 数学知识欧式距离: 使用k近邻算法的条件: 1. 你需要一个训练的数据集,这个数据集包含各种特征值和对应的label值 ,在使用前需要将各种特征值 归一化处理。...原创 2018-11-04 22:40:19 · 7190 阅读 · 0 评论 -
kmeans 算法
其实Kmeans在机器学习中是一种无监督学习算法,整个算法很好理解, 算法第一步: 在数据集中随机选择K个质点作为质心, 第二步: 计算整个数据集中每个元素到K个质心的距离,选择最近的质心,将该元素划分到该 质心 第三步: 经过第二步计算,每个质心都有一个集合,重新计算质心:计算每个集合的均值。 ...原创 2019-03-24 11:25:58 · 389 阅读 · 0 评论