迈微AI研习社 · 号主

分类讲解机器学习算法原理，深度解析决策树、贝叶斯算法、逻辑回归、梯度下降、集成学习、k最近邻、支持向量机等，并给出Python实现源程序，同时分享以实战为导向的Kaggle进阶指南，将机器学习应用于Kaggle实际项目中。

从基础神经网络由浅入深讲解卷积网络，分析原理

k最近邻算法(k-Nearest Neighbor，KNN ）Python实现1. 学习环境2. K-近邻算法概述2.1. K-近邻算法工作原理2.2 K-近邻算法优缺点2.3.K-近邻算法的一般流程3. 实施K-近邻算法3.1 k-近邻算法伪代码：3.2 程序清单：k-近邻算法4. k-近邻算法示例14.1 基本流程：4.2 具体实现4.2.1 准备数据：从文本文件中解析数据4.2.2 分析...

支持向量机(Support Vector Machine, SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。关键字：软间隔、KKT条件、对偶问题、拉格朗日乘子

隐马尔可夫模型（Hidden Markov Model，HMM）是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模（语音识别、自然语言处理等）。本文深度分析总结模型的原理，并给出模型python的实现代码。

那些被遗忘的竞赛项目代码、权重可能也是一笔宝藏。很多人可能参加过许多比赛，做过许多项目，但比赛或项目结束之后，曾经写过的代码、用过的模型就被丢到了一边，甚至不久就被删掉。这种情况并不只存在于比赛中，在学术领域同样存在。当学生训练完模型、写完论文......

走近卷积神经网络（CNN）“卷积神经网络”这个名字，早已被各位社友朋友所熟知，在图像和语音识别方面能够给出更好的结果。相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。the history of Convolutional Neural Network development想要深入了解卷积神经网络的发展历史的社友，可以参看这篇博客：一文带...

本期文章带迈微社友们一起自己动手写一个卷积神经网络

梯度提升是一种针对回归和分类问题的机器学习技术，它以弱预测模型（通常为决策树）的集合形式生成预测模型。 像其他增强方法一样，它以分阶段的方式构建模型，并通过允许对任意可微分的损失函数进行优化来对其进行概括。

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。关键字：决策边界、梯度下降、正则化

在Kaggle上参加机器学习比赛，用什么算法最容易拿奖金？你可能会说：当然是深度学习。还真不是，据统计获胜最多的是像XGBoost这种梯度提升算法，之前在周志华教授的boosting视频中也有详细介绍。

损失线性组合是正确的选择吗？这篇文章或许能够给你答案。在机器学习中，损失的线性组合无处不在。虽然它们带有一些陷阱，但仍...

正如巴菲特所言：「近似的正确好过精确的错误。」

作者参加了39个Kaggle比赛，按照整个比赛的顺序，总结了赛前数据的处理，模型的训练，以及后处理等可以助力大家的tips和tricks，非常多的技巧和经验，现在全部分享给大家。>>加入迈微AI技术交流群，走在计算机视觉的最前沿

K最近邻（k-Nearest Neighbor，KNN）分类算法详解及Python实现上星期写了Kaggle竞赛的详细介绍及入门指导，但对于真正想要玩这个竞赛的伙伴，机器学习中的相关算法是必不可少的，即使是你不想获得名次和奖牌。那么，从本周开始，我将介绍在Kaggle比赛中的最基本的也是运用最广的机器学习算法，很多项目用这些基本的模型就能解决基础问题了。...

点击上方“迈微电子研发社”，选择“星标★”公众号重磅干货，第一时间送达最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了（点击这里文章第三部分观看）；后来发现有...

学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。

我们不得不去想，下采样，上采样真的是必须的吗？可不可能去掉呢？

损失函数在模型的性能中起着关键作用。选择正确的损失函数可以帮助你的模型学习如何将注意力集中在数据中的正确特征集合上，从而获得最优和更快的收敛。

从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。

一般而言，进大厂讲究以下三方面的能力coding能力，这是最基本的能力，包括数据结构和算法，说白了，coding能力扎实，无论干IT还是干AI都不会太差，但很多人会忽略这方面的能力，可能AI各模型学的滚瓜烂熟，但面试让十分钟写个快速排序 迟迟动不了手；机器学习、深度学习方面的能力，16年起随着AlphaGo的横空出世，深度学习瞬间横扫各个领域，这里面的重点包括各个模型：决策树、随机森林、xgboost、SVM、特征工程、CNN、RNN、LSTM等等；根据不同业务场景的技术能力，比如对业务的理解、建模

最优化方法在所有机器学习算法的推导与实现中占据中心地位。

看到数学公式你就怕？现在用实际的例子带你推演反向传播算法，更好理解。

最近，一位来自伯克利的小哥Josh Robin分享了他的深度学习debug心得，从最简单模型开始一步步深入到复杂模型，希望能给刚上手的你一点帮助。

用最直接的机器学习kaggle

本文为Kaggle X光肺炎检测比赛第二名方案。在这项工作中，使用了基于Se-ResNext101为主干网络的RetineNet SSD网络模型, 同时使用了数据增广和多任务学习的技巧来实现肺炎区域的检测。

论文复现一直是机器学习领域的难题，虽然最近多个学术会议提倡大家提交代码，但解决论文复现问题仍然任重而道远。在试图复现机器学习论文时，我们经常遇到哪些问题呢？新加坡机器学习工程师 Derek Chia 对此进行了总结。

本文介绍了 GitHub 上 star 量最高的 5 个机器学习项目(截止今日)，涉及人脸识别、文本处理、机器学习框架等。

点击上方“迈微AI研习社”，选择“星标★”公众号重磅干货，第一时间送达迈微导读图像分割（image segmentation）技术是计算机视觉领域的重要的研究方向，近些年，图像分割技术迅猛发展，在多个视觉研究领域都有着广泛的应用。本文盘点了近20年来影响力最大的 10 篇论文。注：这里的影响力以Web of Science上显示的论文的引用量排序，截止时间为2020年9月27日。-TOP10-Mask R-CNN被引频次：1839作者：Kaiming He，...

网上关于各种降维算法的资料参差不齐，同时大部分不提供源代码。这里有个 GitHub 项目整理了使用 Python 实现了 11 种经典的数据抽取（数据降维）算法，包括：PCA、LDA、MDS、LLE、TSNE 等，并附有相关资料、展示效果；非常适合机器学习初学者和刚刚入坑数据挖掘的小伙伴。

点击上方“迈微电子研发社”，选择“星标★”公众号重磅干货，第一时间送达作者丨土豆@知乎来源丨https://zhuanlan.zhihu.com/p/158857128本文已获授权，不得...

本文介绍了 TCN 在股市趋势预测任务中的应用，表明在集成新闻事件和知识图谱后，TCN 的性能大幅超过 RNN。

在计算机视觉中，卷积是最重要的概念之一。同时研究人员也提出了各种新的卷积或者卷积组合来进行改进，其中有的改进是针对速度、有的是为了加深模型、有的是为了对速度和准确率的trade-off。本文将简单梳理一下卷积神经网络中用到的各种卷积核以及改进版本。文章主要是进行一个梳理，着重讲其思路以及作用。一、 Convolution下图是一个单通道卷积操作的示意图： 在深度学习中，卷积的目的是从输入中提取有用的特...

在不久前结束的 KDD Cup 2020 竞赛中，美团到店广告平台搜索广告算法团队在 Debiasing、AutoGraph、Multimodalities Recall 三道赛题中获得了两冠一季的成绩。本文将介绍该队伍的解决方案。

点击上方“迈微电子研发社”，选择“星标★”公众号重磅干货，第一时间送达入门数据竞赛有很多种方法，有从竞赛学习的，有从专业教材开始实践的。今天我们想介绍一种更好的方式，通过阿水哥编写的《竞...

最近看了一些Out of Distribution(OOD) detection方面的论文，本文旨在介绍在深度学习背景下的 OOD detection 的相关方法，为之后查阅予以方便，也欢迎有兴趣的人一块交流：）

来自华为诺亚方舟实验室的一篇工作近日被CVPR 2020接受，提出了一种新型的端侧神经网络架构，GhostNet。作者：韩凯、王云鹤等。该架构可以在同样精度下，速度和计算量均少于SOTA算法。

本文中的大量插图也会从该博客中截取。首先感谢Jay Alammer详细的讲解，其次推荐大家去阅读原汁原味的文章。

BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。

吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点。