MachineLearning
文章平均质量分 50
Future-Miracle
悠长岁月平静,无事亦是蹉跎
展开
-
深度学习的基本概念介绍
Tensor概念介绍可以把Tensor理解为多维数组,可以具有任意多的维度,不同的Tensor可以有不同的数据类型(dtype)和形状(shape)同一Tensor中的所有元素的dtype均相同。不同维度的Tensor可视化表示为如下图所示。模型和层的概念模型是深度学习中比较重要的概念,模型的核心功能是将一组输入变量经过一系列的计算,映射到另一组输出变量,用到的映射函数就是一种深度学习算法。模型主要包含两方面的内容。(1)一系列层的组合用于进行映射。(2)一些参数变量在训练的过程中实时更新.原创 2022-01-20 10:38:26 · 1096 阅读 · 0 评论 -
Machine learning yearning
偏差:指的是算法在大型训练集上的错误率。方差:指的是算法在测试集上的表现低于训练集的程度。原创 2020-10-14 11:03:49 · 67 阅读 · 0 评论 -
用keras调用load_model时报错ValueError: Unknown Layer:LayerName
出现该错误是因为要保存的model中包含了自定义的层(Custom Layer),导致加载模型的时候无法解析该Layer解决该问题的方法是在load_model函数中添加custom_objects参数,该参数接受一个字典,键值为自定义的层:ner_model = load_model(model_path + 'ner_crf_bilstm_model.h5', custom_objects...原创 2019-04-18 09:30:39 · 9406 阅读 · 4 评论 -
from flair.data import Sentence出现的Bug
mportError: /home/user/anaconda2/envs/py36/lib/python3.6/site-packages/scipy/spatial/ckdtree.cpython-36m-x86_64-linux-gnu.so: symbol _ZTINSt8ios_base7failureB5cxx11E, version GLIBCXX_3.4.21 not define...原创 2018-12-28 19:28:59 · 307 阅读 · 0 评论 -
成功解决在部署CNN,RNN等模型出现的ValueError: Tensor Tensor("dense_2/Softmax:0"bug
ValueError: Tensor Tensor(“dense_2/Softmax:0”, shape=(?, 15), dtype=float32) is not an element of this graph. 对于上面的bug,猜测估计是python2.7出现的编码问题。解决方法: 在加载模型后,首先自定义一条模型可以处理的案例,让模型预测一下,就可以避免上述bug的出现。 具...原创 2018-09-10 10:15:12 · 3322 阅读 · 0 评论 -
Logistic Regression Formula deduction
Question2: Logistic Regression 2.1 Logistic Regression Hypothesis Representation 2.2 Deduction Process使用Gradient Descent求J(θ)最小值时的θ更新过程如下:原创 2017-08-07 20:16:26 · 408 阅读 · 0 评论 -
LinearRegression Formula deduction
Question1: Linear Regression 1.1 Linear Regression with single variable && Gradient descent for single variable 1.2 Linear Regression with multiple variables && Gradient descent for multiple variab原创 2017-08-07 20:11:26 · 396 阅读 · 0 评论 -
Imbalanced Data
1:什么是Imbalanced Data类不平衡(class-imbalance)是指在训练分类器中所使用的训练集的类别分布不均。比如说一个二分类问题,1000个训练样本,比较理想的情况是正类、负类样本的数量相差不多;而如果正类样本有995个、负类样本仅5个,就意味着存在类不平衡。 have a binary classification problem and one class i原创 2017-06-23 15:50:29 · 2192 阅读 · 0 评论 -
CrossValidation
1.1 概念交叉验证(Cross-validation)主要用于模型训练或建模应用中,如分类预测、PCR、PLS回归建模等。在给定的样本空间中,拿出大部分样本作为训练集来训练模型,剩余的小部分样本使用刚建立的模型进行预测,并求这小部分样本的预测误差或者预测精度,同时记录它们的加和平均值。这个过程迭代K次,即K折交叉。其中,把每个样本的预测误差平方加和,称为PRESS(predicted E原创 2017-06-23 14:42:58 · 355 阅读 · 0 评论 -
Scikit-Learn Knowledge
random_state与random seed的作用是相同的,可以用来确保每次划分训练集和测试集的时候都完全一样。通过设置好random_state当别人重新运行你的代码的时候能够得到完全一样的结果,复现和你一样的过程。如果你设置为None,则会随机选择一个种子。原创 2017-06-23 10:14:11 · 333 阅读 · 0 评论 -
One-Hot Encoding
独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。原创 2017-06-21 11:46:08 · 413 阅读 · 0 评论 -
数据独热编码(One-Hot Encoding)解释说明
独热编码即 One-Hot Encoding,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。可以理解为对于每一个特征,如果它有m个可能值,那么经过独热编码后,就变成了m个二元特征。并且,这些特征互斥,每次只有一个激活。因此,数据会变成稀疏的。进行One-Hot Encoding的优点1:解决了分类器不好处理...原创 2019-04-23 11:34:36 · 1189 阅读 · 0 评论 -
ML Algorithm
朴素贝叶斯参考[1]事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生AP(A∩B)=P(A)∗P(B|A)=P(B)∗P(A|B)所以有:P(A|B)=P(B|A)∗P(A)P(B)对于给出的待分类项,求解在此项出现的条件下各个目标类别出现的概率,哪个最大,就认为此待分类项属于哪个类别工作原理1、假设现在有样本x=(a1,a2,a3,…an)这个待分类项(并认为x里面的特征独转载 2016-05-29 10:22:09 · 985 阅读 · 0 评论 -
LinearRegression LogisticRegression And OtherRegression
回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:clip_image转载 2016-05-29 10:06:03 · 321 阅读 · 0 评论 -
machine Algorithm总结
构造决策树的思路如下; (1)选择属性放在根结点,为每个可能的属性值产生一个分支 (2)将样本集划分为多个子集,每个子集对应一个分支 (3)在每个分支上递归重复这个过程,仅使用真正到达这个分支的样本 (4)如果在一个节点上所有样本拥有相同的类别,即停止该部分树的扩展 构造决策树的方法如下:ID3&C4.5&CART 构建决策树的算法所用的策略:ID3(information gain)、原创 2015-08-17 21:36:37 · 438 阅读 · 0 评论 -
Collective Intelligence
machineLearning(机器学习)包含supervised Learning和unsupervised Learning, 其中监督学习又包含线性回归(Regress)用来处理连续(continues)的线性问题。 分类问题(classification)主要用来处理离散的(discrete)的问题。 unsupervised Learning非监督的学习,主要包含聚类算法。 所要使原创 2015-07-23 16:54:55 · 851 阅读 · 0 评论 -
MachineLearning(2)
吴恩达的Note详细笔记链接:andrew Ng. lecture notes http://www.stanford.edu/class/cs229/materials.html machineLearning(机器学习)包含supervised Learning和unsupervised Learning,其中监督学习又包含线性回归(Regress)用来处理连续(continues)的线性问原创 2015-07-10 17:02:53 · 674 阅读 · 0 评论 -
MachineLearning(1)
machineLearning(机器学习)包含supervised Learning和unsupervised Learning,其中监督学习又包含线性回归(Regress)用来处理连续(continues)的线性问题。分类问题(classification)主要用来处理离散的(discrete)的问题。unsupervised Learning非监督的学习,主要包含聚类算法。所要原创 2015-07-09 19:34:20 · 364 阅读 · 0 评论