bohu83的博客

训练过程需要加载数据。其中需要dataset,dataloader.dataset可以用来创建数据集.DataLoader 负责向训练传递数据的任务。这个 dataset是一个表示数据集的抽象类。任何自定义的数据集都需要继承这个类并覆写len\getitem方法。数据集就是一个负责处理索引(index)到样本(sample)映射的一个类(class)。其中len和getitem这两个函数len:数据集的大小,getitem:查找样本。用来表示从索引到样本的映射（Map）.这...

线性模型过于简单，蓝色线所示，如果更复杂的模型 ，如 红线所示。可以使用一个常数项跟 一堆蓝色的折线的组合。蓝色折线使用sigmod 函数表示，它的特点：随着 的增大，y趋向于c,随着的减少，y趋向于0.可以调整不同的w,b,c 来 调整不同的图像 。红色折线可以写成因为 线性模型的bias 较大，为了减少这个值，采用了共有弹性的红色折线更多feature :下面看下取值为3个feature(j=1，2，3)的情况,i 表示一个蓝色的f...

1 机器学习的基本 概念2. 机器学习的分类Regression (回归 )就是找到一个函数 function，通过输入特征 x ，输出一个数值Scalarclassification(分类 )：给定 类别，选择正确 的 一种（围棋也 是一种 分类 ，知道下一步棋子位置）第三种：结构化学习二 实现回归的步骤（机器学习的步骤）老师举得例子是YouTube上传的视频，历史的互动数据 （点赞，观看等），step1、model（确定一个模型）从最简单的线性模型开始，...

一 序 本文属于极客时间机器学习40讲学习笔记系列。18 从全局到局部：核技巧 对偶性主要应用在最优决策边界的求解中。这部分的推导过程在https://blog.csdn.net/bohu83/article/details/114198931我首先要吐槽下，对于小白很难掌握这块，因为数学公式推导要求较高。对比了机器学习40讲，我再看下之前贪心学院的NLP 训练营课程。我会发现文哲老师会站在小白能方便理解的角度去讲，从最简单的SVM从线性分类器导出，根据最大化分类间隔的目标，我们可以...

一 序 本文属于极客时间机器学习40讲学习笔记系列。17 | 几何角度看分类：支持向量机 一提到支持向量机，大部分人的第一反应都是核技巧，所谓的核技巧（kernel trick）只是支持向量机的一个拓展，通过维度的升高将决策边界从线性推广为非线性。所以对于支持向量机的基本原则的理解与核技巧无关，而是关乎决策边界的生成方式。 线性可分数据集的决策边界如果一个数据集是二维平面上的线性可分数据集，那它的决策边界就是一条简单的直线。可这...

一 序 本文 属于极客时间机器学习40讲学习笔记系列。15 | 从回归到分类：联系函数与降维 线性模型初被用来解决回归问题（regression），实际应用中最常用来解决分类问题。将回归结果转化为分类结果，其实就是将属性的线性组合转化成分类的标准，具体的操作方式有两种：一种是直接用阈值区分回归结果，根据回归值与阈值的关系直接输出样本类别的标签；另一种是用似然度区分回归结果，根据回归值和似然性的关系输出样本属于某个类别的概率。这两类输出可以分别被视为硬输出和软输出。 硬...

一 序 本文属于极客时间机器学习40讲学习笔记系列。14 | 非线性降维：流形学习这篇跟上篇很类似，都是讲降维的理论的。 在机器学习中，流形（manifold）指的是嵌入在高维数据空间中的低维子空间，它的维数是低维数据变化的自由度（degree of freedom of variability），也叫作固有维度（intrinsic dimensionality）。流形学习（manifold learning）正是通过挖掘数据的内在结构实现向固有维度的降维，从而找到与高维原数据对应...

一 序 本文属于极客时间机器学习40讲学习笔记系列。13线性降维：主成分的使用在前一篇文章中，老师以岭回归和 LASSO 为例介绍了线性回归的正则化处理。这两种方法都属于收缩方法（shrinkage method），它们能够使线性回归的系数连续变化。但和岭回归不同的是，LASSO 可以将一部分属性的系数收缩为 0，事实上起到了筛选属性的作用。换个说法就是降维（dimensionality reduction），也就是直接降低输入属性的数目来削减数据的维度。 维数灾难深层次的...

一序 本文属于极客时间机器学习40讲学习笔记系列。12正则化处理：收缩方法与边际化 本质上讲，过拟合就是模型过于复杂，复杂到削弱了它的泛化性能。正则化（regularization）是用于抑制过拟合的方法的统称，它通过动态调整估计参数的取值来降低模型的复杂度，以偏差的增加为代价来换取方差的下降。这是因为当一些参数足够小时，它们对应的属性对输出结果的贡献就会微乎其微，这在实质上去除了非相关属性的影响。 在线性回归里，最常见的正则化方式就是在损失函数（loss functi...

一 序 本文属于极客时间机器学习40讲学习笔记系列。11基础线性回归：一元与多元线性模型最大的优点不是便于计算，而是便于解释。之前的课证明了当噪声满足正态分布时，基于最小二乘法（least squares）的线性回归和最大似然估计是等价的。...

一 序 本文属于极客时间 机器学习40讲学习笔记系列。09 实验设计本节学习机器学习中有关实验设计与分析的一些原则性问题。设计实验要完成的任务是对整个机器学习过程的优化。其中最基本的因子就是选用的模型形式。当模型确定后，模型的超参数（hyperparameter）就是下一个可控因素。当实验中的因子数目比较多时，控制变量法这是最简单的实验设计技法之一，它通过将其余变量设置为固定值来观察单一因素的影响效果，以及其背后的因果关系。在机器学习中，这种方法被称为一次一因子（one factor .

一序 本文属于极客时间机器学习40讲读书笔记系列。机器学习需要根据问题特点和已有数据确定具有最强解释性或预测力的模型，其过程也可以划分为类似于“学习 - 练习 - 考试”这样的三个阶段，每个阶段的目标和使用的资源可以归纳如下： 模型拟合（model fitting）：利用训练数据集（training set）对模型的普通参数进行拟合； 模型选择（model selection）：利用验证数据集（validation set）对模型的超参数进行调整，筛选出性能最好的模型； .

一 序 本文属于极客时间机器学习40讲学习笔记。03 学什么与怎么学 机器学习侧重于将预先设定的准确率等指标最大化，那模式识别就更注重于潜在模式的提取与解释。什么样的问题才能通过机器学习来解决呢？首先，问题不能是完全随机的，需要具备一定的模式；其次，问题本身不能通过纯计算的方法解决；再次，有大量的数据可供使用。机器学习的任务，就是使用数据计算出与目标函数最接近的假设，或者说拟合出最精确的模型。输入特征：具体特征（concrete feature）、原始特征（raw fea...

一 序本文属于极客时间机器学习40讲学习笔记系列。学习目标：把握不同模型之间的内在关联，形成观察机器学习的宏观视角，找准进一步理解与创新的方向。01 频率视角下的机器学习之前的“基础课”中老师曾提到，“概率”（probability）这个基本概念存在着两种解读方式，它们分别对应着概率的频率学派（Frequentist）和贝叶斯学派（Bayesian）。理解这些背景知识，有助于从不同的角度理解机器学习的各种算法。 总结下： 频率学派认为概率是随机事件发生频率的极限值； ..

一序 本文从极客时间的AI技术内参上，试读了几节。整理下学习笔记，我的感受就是洪亮劼老师，会引导你思考一些问题，不仅仅算法怎么实现。二 如何搭建数据团队 这篇给我触动较大，改变了我之前的一些看法。数据大致分为两个方向：数据分析、算法模型。每个方向对于人的要求是不一样的。如果是基于现有数据，不管是hive\spark那种导数据多一些，还是偏向于数据分析。如果是通过算法改善产品，提供支撑，还是算法模型的更合适 。团队规模：这个基本上跟公司的规模有关，大厂，业务多复杂，有大团队...

一 序 本文属于极客时间基础课学习笔记系列。还是属于串下知识点。二 基础概念回归效应： 英国的统计学家高尔顿，他发现高个子父亲的儿子身高会矮一些，而矮个子父亲的儿子身高会高一些，也就是说人类的身高都会回到平均值附近（不然就会产生两极分化现象了）。首先对一些父子的身高进行了抽样，得到数据集D，然后根据数据集拟合出一条直线；最后通过该直线就可以对某父亲X的儿子的身高进行预测。高尔顿给出了第一个线性回归的表达式：回归分析： 回归分析是一种预测性的建模技术，它研究的...

一序 本文属于极客时间数学基础学习系列。第二节比较抽象，介绍了早期人工智能的方法，第三节是机器学习的概论，之前NLP训练营老师讲过，所以就是串下知识点。二形式逻辑谓词逻辑：，人工智能早期的方法，缺点：不能表示不确定性的知识，推理效率很低 。关于“哥德尔不完备定理”，这个太抽象了，什么是一致性，完备性。还是看你知乎大佬们的解释吧：https://www.zhihu.com/question/27528796/answer/715471969三 机器学习概论机器学习机制：...

一 序 本文属于贪心NLP训练营学习笔记系列。 为什么需要递归神经网络？ 类似天气、股票、语音这种数据，是时序数据，对于语音：同一个单词不同人说对应时长不同。之前学习的多层感知器，假设输入是一个独立的没有上下文联系的单位，比如根据图谱识别动物类别。如果需要根据上一句话预测下一句话，就是输出必须依赖以前的输入，需要递归神经网络来实现这样的功能。二 递归神经网络介绍2.1vanillaRNN原始RNN整体上还是：输入层=>隐藏层=>输出层 这种三层...

一 序 本文属于贪心NLP训练营学习笔记系列。二optimization of deeplearning这里老师简单提了下，我们知道凸函数是有全局最优解的。深度学习是非凸函数，highly non-convex function.只有局部最优解。特点：很难训练。知乎上看了下为啥？没找到很清晰通俗的解释。没看懂这块，我猜测收敛的局部极小值不会与全局的差太多，老师说如果能找到这样的优化方法，就不用这么多层网络模型了 。高票答案是反证：https://www.zhihu.com/qu...

一 序 本文属于贪心NLP训练营学习系列。上节课学习了神经网络的数学表达，本节学习数学表达式的参数w,b.二 神经网络的损失函数假设模型有一个输入层，一个输出层以及L个隐含层。我们把softmax作为输出层的激活函数.我们把output层的pre-Activation部分写作，post-Activation 部分写作f(x).损失函数主要部分：, 其中 参数损失函数包含两项是预测值，真实值。损失函数： ,后面可以看做是正则项，为了解决过拟合的问题。接下来是使用随机梯度下...

一 序 本文属于贪心NLP训练营学习笔记系列。在之前的机器学习的分享中，是关于传统机器学习的一些重要的模型，从本节课开始学习深度学习。神经网络 只是借鉴了生物学的神经系统，与真实的大脑生物学还差别很大。二神经元人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络 的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。我们把神经元，分为pre-Activation,post-Activation 两个过程。pre-Ac...

一 序 本文属于贪心NLP训练营学习笔记系列。上一篇介绍了NLP学习笔记 36-word2vec其中介绍了遇到的问题。其中OOV(out of vocabulary)、稀疏问题（某些单词出现频率较低）本节课，老师来讲对应的优化问题。二Subword我们上一节知道，在world2vec里面有嵌入embedding的过程，就是对词表中每个词做向量表，每个词对应不同的向量，对于OOV出现的新词。一种简单处理方式，是忽略新单词。 还有一个思路是将字符当做基本单元，建立charac...

一 序理论部分，可以看之前NLP学习笔记 36-word2vec当然自己觉得整理的不够好，hanlp作者的一篇是结合代码分析的《word2vec原理推导与代码分析》二 验证1 词向量使用 gensim这个就是最简单的，这里的数据集就是一个分词之后的。如果单纯试验，从网上找对应的数据集就好。如果是自己的数据（比如原始的文本），那就需要分词处理后生成。遇到的问题：我开始参照网上的通常写法：word2vec.Word2Vec(sentences, size=200) ...

一 序 本篇属于贪心NLP训练营学习笔记系列。二词向量one-hot encoding问题：稀疏sparse representation similarity (无法表达单词相似度 => 导致无法表达语义) ，可以表达句子相似性。word2vec - distributed representation(把词的信息分布到各个向量中)Dense 稠密的（好处是低维的，数据量没有那么大） meaning (semantic space ，我们希望词关系比较密切的，再...

一 序 本文属于贪心NLP训练营学习笔记系列。二 有向图与无向图模型横向: 贝叶斯模型 -> HMM时序模型 -> 图模型 2. 纵向: 有向 -> 无向有向图和无向图联合概率有向图的联合概率等于各个节点的条件概率的乘积.无关，直接乘。在计算条件概率的时候，只需要考虑局部的取值类型即可，例如：只用考虑取值（假设它是离散型）,同理只需要考虑.所有的可能性。无向图相对复杂，为了吧联合概率拆分，需要引入factor/feature function，拆分的结.

一 序 本文属于贪心NLP训练营学习笔记系列。从隐变量到EM算法。二 数据表示传统的数据表示，如图片、文本等是人能直观理解。但是不一定是好的表示，可能有冗余的特征，有噪音等。是不是转换为低维的空间会更好？很多算法包括机器学习都是为了寻找一个更好的表示方法。三 隐变量模型隐变量生成的例子： Complete Caseand Incomplete CaseComplete Case ：用最大似然MLE来求解Incomplete Case：使用EM算...

一 序本文属于贪心NLP训练营学习笔记。本节课开始学习HMM。二 时序类模型常见时序类模型的场景：（沿着时间的维度在变化的，而且数据之间有一定相关性，时间长度不固定）1股票价格、语音、文本，温度的变化。HMM / CRF <= traditional method 传统 RNN / LSTM <= deep learning 深度学习三 模型介绍z是状态值（隐式），x是观测值（已知），对应不同时间t有不同的值。是有有方向的、生产模型。既可以看做判别模型，也可.

一 序 本文属于贪心NLP训练营学习笔记。二句法分析Parsing理解句子的两种方法:句法分析 (主谓宾…) 大量阅读后, 凭感觉 <- 语言模型概念例如. Microsoft is located in Redmond上面的语法树中，叶子节点叫terminal node，非叶子节点叫internal node（non-terminal node）句法树中提取特征Parsing for Feature Extraction提取与 树/图 的相关特征 (重要性..

一 序 本文属于贪心NLP训练营学习笔记系列。整体来看，第1模块：语言模型，第二模块：机器学习。第三模块：信息抽取二信息抽取概要 概要介绍Unstructured Text包括：图片、文本、VIDEO、音频这些需要提取特征的处理后才能用模型进行计算。Information Extraction（IE）抽取实体（entities）：实体是现实生活中存在的事物。·医疗领域：蛋白质，疾病，药物.…抽取关系（relations）位于（（locatedin），工作...

刚学完SVM的理论部分，感觉没有老师带着写代码练手，还是发虚。参照之前的线性回归部分代码，改下模型试验下。前面 部分跟之前一样，就不贴了。还是文本分词后，用TFIDF矩阵。因为多分类的问题，svm的参数需要decision_function_shape='ovr'，如果不设置会报错。模型主要参数有：C超参数：对于训练集来说，其误差越小，但是很容易发生过拟合；C越小，则允许有更多的训练集误分类，相当于soft margin核函数： kernel :可选线性、rbf 等。r..

一 序 本文属于贪心NLP训练营学习笔记系列。二Mapping Feature to High Dimensional Space如图所示，转换是包含两部分的工作的，第一步是从低维特征向量转换为高维特征向量，第二步是根据高维向量特征训练分类器。那么现在的任务也从原来的：变成了,或者其中x是D维，u是维。至于具体升维操作，也就是把原来的特征做一些加减乘除，变成更多的特征。这种方法在实操的时候有一个问题：时间复杂度增加。例如原来的D=10，新的=10000,第...

一 序 本文属于贪心NLP训练营学习笔记。上一节梯度下降法的收敛推导，整理了半天，真头大。Linear classifier 回顾有数据集D={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)},y∈{−1,1},i=1,2,...,n对于线性模型的参数决策边界：判断条件表达式:时，时，上面的可以写成:二 SVMMax margin假如我们有这样一些数据，有3条线（决策边界）也能完全分开，这里三个分类边界，到底那一条线最好呢？...

一 报错二月 28, 2021 12:12:21 下午 org.jpmml.sklearn.Main run严重: Failed to convert PKL to PMMLjava.lang.IllegalArgumentException: Attribute 'sklearn.linear_model._logistic.LogisticRegression.multi_class' must be explicitly set to the 'ovr' or 'multinomial' v

一 序 本篇属于贪心NLP训练营学习笔记。二 逻辑回顾的梯度下降法逻辑回顾的目标函数：推导过程：NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降 梯度下降法结果的解释时间复杂度Gradient Descent Algorithm 这个很难直接给出时间复杂度。梯度下降法是一个迭代的过程，受到初始值。步长等因素影响。三 Convergence Analysis of Gradient Descent梯度下降法的收敛分析1. ...

一 序 本文属于贪心NLP训练营学习笔记系列。视频151 变分推断先跳过。二为啥要关注优化通常有关AI的问题可以分解为：模型+优化模型就是如何选择模型：逻辑回归、深度学习等，然后进行模型的实例化,例如选择深度学习,有几层，每层的参数等。实例化完毕之后，我们总是可以找到一个与实例化之后的模型相对应的objective function（目标函数），接下来就进入了优化的阶段。优化有很多算法，见截图，有了objective function之后，就是要归类，再选择合适的优化算法解决...

一 序 真实数据非公开测试数据集，所以不能外泄。学习完线性回归模型之后，想再实际项目中应用下。 项目背景： 咨询需要分诊的类型如给医生、护士、客服等不同人处理。目前是人工处理分类。数据格式比较简单：分类结果，咨询内容。二 技术方案首先，我们需要对数据进行处理，通过中文分词将原始内容转换为文本向量。随后，使用机器学习算法对数据进行训练，得到模型后使用测试数据集进行验证。三 分词试验过，如果使用默认的TFIDF模型，分词的数据不太好。所以改用jieb...

一 序 本文属于贪心NLP训练营学习笔记系列。上节学完逻辑回归之后，本节学习的是逻辑回归的变种。二

一 序 本来是要接着看lasso的，属于逻辑回归的变种。因为我是0基础。逻辑回归看的太吃力，这篇看了知乎的大佬的好文章。给自己再补充下。我当时看知乎的问答帖子感受是这样的。大神的解释是看不懂的，啥是OLS啊？看不下去了。（反复提醒自己，0基础看机器学习就得先看数学基础）。看了大佬”化简可得“的这篇文章。感谢大佬愿意把深奥的知识用刚入门的小白也能看懂的形式分享出来。推荐看原文链接，我写的只是对作者文章的理解，不如原文好。https://zhuanlan.zhihu.com/p/72513.

一 序 本文属于贪心NLP训练营学习笔记系列。 这节课在线性回归及正则里面穿插的讲。对于从逻辑回归开始明显感到主要就是 讲数学公式的推导了。好难。二情绪识别实战 Python吧就是看了点语法，所以本节课的内容我是对照李文哲老师的再本地敲了一边代码。2.1 数据准备：ISEAR.csv2.2 读取第一段就是导入 pandas,numpy. 第二段就是读取数据集ISEAR.csv. 这个数据model_selection主要提供交叉验证和结果评估的工...

一 序 本文属与贪心NLP训练营学习笔记系列。MLE：最大似然估计Maximum likelihood estimationMAP：最大后验估计Maximum a posterion estimation我们通常用机器学习就是要找到一个模型，然后解出这个模型的参数，这两个方法都是用来构建目标函数求解参数的。二 区别MLE：在估计参数的过程中，仅仅靠观测到的数据（样本）来进行估计最好的那个参数。如果丢一个不均匀的硬币：正正正反反正那么从结果可以推算参数：=2/3MAP： 不仅.