xiaoshun007的专栏

我们可以观察到，每次迭代或 epoch 的损失都会减少，有趣的是，我们的模型只经历了 8 个 epoch，即使我们要求模型运行 50 个 epoch。由于时间序列数据已经是连续测量的序列，按时间顺序索引，即数据是确定的、连续的和周期性的，非常适合 LSTM 网络学习并为时间顺序中的未来连续趋势提供预测。如果模型不能提供良好的预测，我们需要尝试一些不同的方法，例如数据缩放、数据转换、使用更多 LSTM 或密集层或调整其他超参数。时间序列数据，也称为时间戳数据，是按时间顺序索引的数据点序列。

在开始训练之前，我们找了一些前人的解决方案，依次复现并进行了比较。经过复现和比较，我们认为论文中(DCS论文)提到的模型表现的较好。以下我们将以CODEnn模型为例，介绍一下模型的原理、如何对数据进行预处理、如何构建并训练模型。我们的目的是要通过自然语言的查询语句来搜索对应的代码，但是自然语言和程序代码是异构的两种数据，直观上找不到任何相似性，无法进行有效的搜索。

人工智能已经快要进入应用的高峰期了，但并不需要每个人都学习算法、建模。对于程序员来说，应该先从自己会的方向入手，学习如何应用AI来解决问题，开发应用。本文将带着大家动手，从头做一个看图识熊的应用，输入一张熊的照片，程序输出这是什么熊。这里不会讲到AI的算法、模型，但会对涉及到的应用有关的概念做些介绍。文中，我们将使用微软认知服务的必应图像搜索准备训练数据，然后用微软认知服务的定制化视觉服务训练模型，导出模型，最后将模型集成到应用中。

现在再来回想聚类的代表算法K-Means：【首先随机选择类中心=>将样本点划分到类簇中=>重新计算类中心=>不断迭代直至收敛】，不难发现这个过程和EM迭代的方法极其相似，事实上，若将样本的类别看做为“隐变量”（latent variable）Z，类中心看作样本的分布参数θ，K-Means就是通过EM算法来进行迭代的，与我们这里不同的是，K-Means的目标是最小化样本点到其对应类中心的距离和，上述为极大化似然函数。因为ln(*)函数为凹函数，故可以将上式“和的对数”变为“对数的和”，这样就很容易求导了。

因此只剩下类条件概率p（x | c ），它表达的意思是在类别c中出现x的概率，它涉及到属性的联合概率问题，若只有一个离散属性还好，当属性多时采用频率估计起来就十分困难，因此这里一般采用极大似然法进行估计。从最初的分类函数，通过最大化分类间隔，max(1/||w||)，min(1/2||w||^2)，凸二次规划，朗格朗日函数，对偶问题，一直到最后的SMO算法求解，都为寻找一个最优解。对于给定的样本x，P（x）与类标无关，P（c）称为类先验概率，p（x | c ）称为类条件概率。

因此，核函数可以直接计算隐式映射到高维特征空间后的向量内积，而不需要显式地写出映射后的结果，它虽然完成了将特征从低维到高维的转换，但最终却是在低维空间中完成向量内积计算，与高维特征空间中的计算等效**（低维计算，高维表现）**，从而避免了直接在高维空间无法计算的问题。求解的过程中，只涉及到了高维特征空间中的内积运算，由于特征空间的维数可能会非常大，例如：若原始空间为二维，映射后的特征空间为5维，若原始空间为三维，映射后的特征空间将是19维，之后甚至可能出现无穷维，根本无法进行内积运算了，此时便引出了。

如果基于累积误差最小化的更新规则，则得到了累积误差逆传播算法（accumulated error backpropagation），即每次读取全部的数据集一遍，进行一轮学习，从而基于当前的累积误差进行权值调整，因此参数更新的频率相比标准BP算法低了很多，但在很多任务中，尤其是在数据量很大的时候，往往标准BP算法会获得较好的结果。阈值Θ可以看作一个输入值固定为-1的哑结点的权重ωn+1，即假设有一个固定输入xn+1=-1的输入层神经元，其对应的权重为ωn+1，这样就把权重和阈值统一为权重的学习了。

这个问题可能有点突然：您有没有玩过巨大的迷宫？这通常是一种景点，玩家进入一个由比人高的墙壁组成的迷宫，通过克服旋转门和岔路等重重关卡，最后到达终点。这种游戏在1980年代风靡日本全国，但现在貌似只剩下屈指可数的几处了。我在小时候曾经玩过，当时曾经想：“要是能从天上往下看就好了！这次我想制作一个能够实现这样的童年梦想的作品。希望制作出一个当实物迷宫倾斜时，屏幕中的迷宫也会倾斜并且小球会滚动的装置，玩家需要交互确认和比较实物迷宫和屏幕中的迷宫才能到达终点！※此链接为Youtube视频。

大家好！我是平原。本文是“用Arduino和加速度传感器制作数字滚球迷宫”的后篇。在前篇中，我们组装了电子电路，写入了Arduino程序，并确认了电子部件的工作情况。接下来，在本文中我们将完成实物迷宫的制作，并使用游戏引擎Unity实际制作游戏。请大家也一起参与挑战！※此链接为Youtube视频。

制作属于自己的Arduino扩展板！升级版Arduino电子制作。

本文再次对不断发展中的Raspberry Pi进行了归纳总结。还介绍了最新的产品Raspberry Pi 4和OS烧录更为方便的镜像烧录工具。在此之前，并没有推出官方的烧录工具，让人觉得不可思议。但是现在官方烧录工具推出之后，上手这一款产品也变得简单到不可思议。在介绍完Raspberry Pi 4的设置方法之后，本文还归纳介绍了最近在Device Plus上发布的相关文章，包括基于欧姆定律实现LED闪烁，以及使用电机制作电子作品等项目。

此限制包括个人或电话联系，以及使用电子社交媒体，例如但不限于：电子邮件、短信、聊天室、问答系统、互动博客、Twitter、微博、在线帮助或支持网站等. 此外，严禁在比赛期间以任何形式或媒介张贴或分享问题陈述的任何部分或全部、您团队的解决过程、或任何部分或完整的工作。：解决方案的论文有未经记录的来源、逐字逐句的文本或从互联网上提取的信息，和/或与其他提交的论文非常相似，这是由评委和/或我们的成对比较软件确定的。该奖项授予ICM问题E的首席评委选定的团队，以表彰他们在建模中运用科学理论和数据方面的卓越成就。

由于 XLA 编译和 Autograph 优化，您的模型运行速度更快，并且由于 TF Serving、TF Lite 和 TF.js，您的模型更容易在每个表面（服务器、移动设备、浏览器、嵌入式）上部署。例如，tf.nn.conv2d 和 tf.layers.Conv2d 具有相同的名称，但它们的设置略有不同，这可能会改变您的输出。您继续学习和使用的具体取决于您的用例和其他因素，例如您的技术能力以及您需要学习多长时间。是该系列中最新的深度学习框架。然而，它确实可以用于确定的序列，从而使其成为一个可用的系统。

这些解决方案的一部分是开发机器学习算法，以生成新的见解（例如，识别客户群）、自动化业务流程（例如，信用评分预测）或为客户提供新发现的价值（例如，推荐系统）。虽然我们确实认为接受人工智能或相关领域的正规教育是值得的，但越来越多的专业人士正在通过非传统途径进入该领域，这证明只要有奉献精神、持续学习和积极主动的方法，您就可以实现自己的梦想从事人工智能工作。请记住，时间尺度、主题领域和进展都取决于广泛的变量。值得注意的是，这些先决条件领域所需的理解和掌握深度可能会有所不同，具体取决于您想要从事的人工智能角色。

对货币的影响可能是双向的，CPI上升可能导致利率上升和本币升值，另一方面，在经济衰退期间，CPI上升可能导致经济衰退加深，从而导致经济衰退。第四，让我们创建一个包含 5,000 次试验（即 50,000 次迭代）的随机数的数据帧，这些随机数是 0 到 1 之间的连续均匀分布，这仅表示 1 次蒙特卡洛模拟。这两个结果均基于我们上面描述的某些假设，代表我们的最佳估计，而不是绝对精确值。然而，考虑到这些模型的准确性，我们认为以色列 2024 年的预测通胀率将与我们的蒙特卡罗模型的结果非常相似。

换句话说，您不需要未来的确切股票价值，而是股票价格走势（即，在不久的将来是否会上涨或下跌）。由于您之前进行的观察，即不同时间段的数据具有不同的值范围，因此您通过将整个系列拆分为窗口来对数据进行归一化。请注意，您的预测大致在 0 到 1.0 的范围内（即，不是真实的股票价格）。在这里，您将训练和预测几个时期的股票价格走势，并查看预测随着时间的推移是变得更好还是更差。：选择窗口大小时，请确保它不要太小，因为当您执行窗口归一化时，它可能会在每个窗口的最后引入一个中断，因为每个窗口都是独立归一化的。

（注意这里是X的近似值）

后剪枝则表示在构造好一颗完整的决策树后，从最下面的节点开始，考虑该节点分支对模型的性能是否有提升，若无则剪枝，即将该节点标记为叶子节点，类别标记为其包含样本最多的类别。预剪枝处理使得决策树的很多分支被剪掉，因此大大降低了训练时间开销，同时降低了过拟合的风险，但另一方面由于剪枝同时剪掉了当前节点后续子节点的分支，因此预剪枝“贪心”的本质阻止了分支的展开，在一定程度上带来了欠拟合的风险。可以看出：决策树学习的关键在于如何选择划分属性，不同的划分属性得出不同的分支结构，从而影响整颗决策树的性能。

同样地，我们使用最小二乘法对w和b进行估计，令均方误差的求导等于0，需要注意的是，当一个矩阵的行列式不等于0时，我们才可能对其求逆，因此对于下式，我们需要考虑矩阵（X的转置*X）的行列式是否为0，若不为0，则可以求出其解，若为0，则需要使用其它的方法进行计算，书中提到了引入正则化，此处不进行深入。OvM：给定数据集D，假定其中有N个真实类别，每次取出一个类作为正类，剩余的所有类别作为一个新的反类，从而产生N个二分类学习器，在测试阶段，得出N个结果，若仅有一个学习器预测为正类，则对应的类标作为最终分类结果。

该算法的思想是独立地适应模型的每个参数：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率。AdaDelta 和 RMSProp 是独立发现的，AdaDelta 的前半部分与 RMSProp 完全一致；AdaDelta 和 RMSProp 都是为了解决 AdaGrad 对学习率过度衰减的问题而产生的。RMSProp 依然需要设置一个全局学习率，同时又多了一个超参数（推荐了默认值）。AdaDelta 进一步解决了 AdaGrad 需要设置一个全局学习率的问题。

Bias 是由于你使用的学习算法过度简单地拟合结果或者错误地拟合结果导致的错误。它反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力。Bias 可能会导致模型欠拟合，使其难以具有较高的预测准确性，也很难将你的知识从训练集推广到测试集。Variance 是由于你使用的学习算法过于复杂而产生的错误。它反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。

生成目标语言的第一个词 'W'，接着 Decoder 读取第一步的输出 'W' 作为第二步的输入，进而生成第二个词 'X'，如此直到生成。Decoder 生成每个词还要结合当前时间步的隐状态（如果是 LSTM 还有 记忆状态），更深入的细节暂时略过。根据任务的输入输出差异，编码器和解码器的设计也不尽相同，但是“Encoder-Decoder”的结构都是一致的。的过程，输入是一个源语言的一个句子 "A B C"，Encoder 一次读入每个单词直到结束符。适用于序列建模的卷积网络一般就是采用的是一维卷积。

二项逻辑斯蒂回归模型即如下的条件概率分布正在上传…重新上传取消正在上传…重新上传取消简洁起见，省略了偏置b；也可以看做将偏置扩充到了权重中其中正在上传…重新上传取消通常会将以上两个分布记作：正在上传…重新上传取消《统计学习方法》 6.1 逻辑斯蒂回归模型原书中记作π(x)和1-π(x)，这里为了跟神经网络中统一，使用σ训练数据集中与分离超平面距离最近的样本点的实例称为支持向量更通俗的解释：数据集种的某些点，位置比较特殊。比如x+y-2=0。

自然语言处理之序列模型 - 小象学院。

低秩近似算法在中小型网络模型上，取得了很不错的效果，但其超参数量与网络层数呈线性变化趋势，随着网络层数的增加与模型复杂度的提升，其搜索空间会急剧增大。总体而言，剪枝是一项有效减小模型复杂度的通用压缩技术，其关键之处在于如何衡量个别权重对于整体模型的重要程度。剪枝操作对网络结构的破坏程度极小，将剪枝与其他后端压缩技术相结合，能够达到网络模型最大程度压缩。

目标检测算法原理和网络结构细节:经典的two-stage算法: Faster RCNN、FPN、Mask RCNN等one-stage算法：SSD、yolo、retinanet等CNN的SOTA网络原理和细节: ResNet、VGG、InceptionV3、DenseNet等.深度学习算法公式理解：链式求导过程、BP反向传播、SGD优化器原理、激活函数公式及原理、常见图像处理算法等.C/C++/Java/Python编程基础C++构造函数与析构函数意义。

上图所展示的是取区域最大，即上图左边部分中左上角2x2的矩阵中6最大，右上角2x2的矩阵中8最大，左下角2x2的矩阵中3最大，右下角2x2的矩阵中4最大，所以得到上图右边部分的结果：6，8，3，4。比如下图中，图中左边部分是原始输入数据，图中中间部分是滤波器filter，图中右边是输出的新的二维数据。给定上述关于神经网络的描述，什么情况下神经网络模型被称为深度学习模型？d. 对每一个产生误差的神经元，调整相应的权重值以减少误差。e. 重复迭代，直至得到网络权重的最佳值。CNN的卷积核是单层的还是多层的？

第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），这种现象称为饱和，从而无法完成深层网络的训练。如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。下图可以很形象的解释这个问题，左图用一根线是无法划分的。

人们直观的想象，高维的时候这样的局部极值会更多，指数级的增加，于是优化到全局最优就更难了。后接了3个Local-Conv层，这里是用Local-Conv的原因是，人脸在不同的区域存在不同的特征（眼睛／鼻子／嘴的分布位置相对固定），当不存在全局的局部特征分布时，Local-Conv更适合特征的提取。逻辑回归（广义线性模型的一种）的Logistic函数即为神经元激活函数中的Sigmoid函数，很多类似的方法在统计学和神经网络中的名称不一样，容易引起初学者（这里主要指我）的困惑。这来源于一维优化问题的直观想象。

在循环神经网络中，梯度爆炸的发生可能是因为某种网络的训练本身就存在不稳定性，如随时间的反向传播本质上将循环网络转换成深度多层感知机神经网络。在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。在深度多层感知机神经网络中，梯度爆炸的发生可能是因为激活函数，如之前很流行的 Sigmoid 和 Tanh 函数。在循环神经网络中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。

当训练较多层数的模型时，一般会出现梯度消失问题（gradient vanishing problem）和梯度爆炸问题（gradient exploding problem）。注意在反向传播中，当网络模型层数较多时，梯度消失和梯度爆炸是不可避免的。深度神经网络中的梯度不稳定性，根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。前面的层比后面的层梯度变化更小，故变化更慢，故引起了梯度消失问题。前面层比后面层梯度变化更快，故引起梯度爆炸问题。

Matplotlib是一个Python库，用于绘制各种类型的图形，包括线图、散点图、柱状图、饼图、3D图等。它提供了类似于MATLAB的绘图接口，是数据科学和数据可视化领域中最常用的库之一。Matplotlib不仅仅是一个绘图库，它还可以与NumPy和Pandas等Python科学计算库一起使用。Matplotlib提供了大量的定制选项，可以自定义图形的各个方面，如颜色、线型、字体、坐标轴范围、图例等。此外，Matplotlib还支持多种输出格式，包括PDF、SVG、JPG、PNG等。

人工智能（Artificial Intelligence，简称 AI）是指让机器表现出人类智能的一门学科。狭义人工智能：也被称为弱人工智能（Weak AI），指的是机器可以完成特定的任务，但并没有真正的智能。例如，语音助手可以回答简单的问题和执行基本的任务，但它并不能像人类一样思考和理解问题的背景。广义人工智能：也被称为强人工智能（Strong AI），指的是机器能够像人类一样拥有智能，包括理解、学习、自我修正和自我发展等能力。

面试官人比较友好，自己项目细节一定要熟悉，简历上的东西最好清楚掌握，数据结构和常用算法一定要掌握，这是我的第一个面试经历，不管接下来的面试能否通过，都还是值得纪念和自省的。１．格林深瞳实习生面试只有一面，所以项目和基础都在这一面都问了。这次面试官问的很多问题，给了我很多启发，自己项目虽然做的多，但是在很多理论和基础原理上细节功夫下的不够，论文看的不够多。

深度学习》 6.3 隐藏单元《深度学习》 7.3 正则化与欠约束问题所谓分布式表示就是用不同的特征，通过组合来表示不同的概念（左）是 one-hot 表示（一种稀疏表示），（右）为分布式表示神经网络如何学习分布式表示- 百家号。

这部分，学过线性代数的可以复习一下，比较基础。笔记整理暂留。

为了直观理解代价函数到底是在做什么，先假设 θ1=0，并假设训练集有三个数据，分别为$\left(1, 1\right), \left(2, 2\right), \left(3, 3\right)$，这样在平面坐标系中绘制出 hθ(x) ，并分析 J(θ0,θ1) 的变化。右图 J(θ0,θ1) 随着 θ1 的变化而变化，可见**当 θ1=1 时，$J\left(\theta_0, \theta_1 \right) = 0$，取得最小值，**对应于左图青色直线，即函数 h 拟合程度最好的情况。

机器学习定义 这里主要有两种定义：这个定义有点不正式但提出的时间最早，来自于一个懂得计算机编程的下棋菜鸟。他编写了一个程序，但没有显式地编程每一步该怎么走，而是让计算机自己和自己对弈，并不断地计算布局的好坏，来判断什么情况下获胜的概率高，从而积累经验，好似学习，最后，这个计算机程序成为了一个比他自己还厉害的棋手。task Tand someTom Mitchell 的定义更为现代和正式。T(Task): 过滤垃圾邮件任务。P(Performance): 电子邮件系统过滤垃圾邮件的准确率。

上节课，我们主要简述了机器学习的定义及其重要性，并用流程图的形式介绍了机器学习的整个过程：根据模型H，使用演算法A，在训练样本D上进行训练，得到最好的h，其对应的g就是我们最后需要的机器学习的模型函数，一般g接近于目标函数f。然后对错误点进行修正，更新w，得到一条新的直线，在计算其对应的分类错误的点的个数，并与之前错误点个数比较，取个数较小的直线作为我们当前选择的分类直线。接下来，我们的目的就是如何设计一个演算法A，来选择一个最好的直线，能将平面上所有的正类和负类完全分开，也就是找到最好的g，使。

机器学习的过程，就是根据先验知识选择模型，该模型对应的hypothesis set（用H表示），H中包含了许多不同的hypothesis，通过演算法A，在训练样本D上进行训练，选择出一个最好的hypothes，对应的函数表达式g就是我们最终要求的。假设hypothesis，一个机器学习模型对应了很多不同的hypothesis，通过演算法A，选择一个最佳的hypothesis对应的函数称为矩g，g能最好地表示事物的内在规律，也是我们最终想要得到的模型表达式。目标函数f，即最接近实际样本分布的规律。