wenyusuran的专栏

资产负债率对很多人而言，财务分析是个很复杂的工作，往往很难驾驭。我一直在想，那有没有什么办法，能把这些看上去复杂的东西，简化一点呢？通常说来，财务报表包括四张会计报表和附注，我们先从一家公司的资产负债表开始。这里我们选择了中国联通（600050）作为分析标的。资产负债表，左边列示了资产项，右边列示了负债和所有者权益项。资产=负债+所有者权益这就是会计的恒等式。没有会计基础的朋友可能不太能理解。现在我们假设，你要做个早餐店，一共需要投资40万。但你目前手里只有20万，那你就需要

在过去的十年里，深度学习在一系列的应用中取得了巨大的成功。然而，为了验证和可解释性，我们不仅需要模型做出的预测，还需要知道它在做出预测时的置信度。这对于让医学影像学的临床医生接受它是非常重要的。在这篇博客中，我们展示了我们在韦洛尔理工学院进行的研究。我们使用了一个基于变分推理技术的编码解码架构来分割脑肿瘤图像。我们比较了U-Net、V-Net和FCN等不同的主干架构作为编码器的条件分布采样数据。我们使用Dice相似系数(DSC)和IOU作为评价指标来评价我们在公开数据集BRATS上的工作。医学图像分割

导读：在全面进入无线的时代，为了解决信息负载的问题，越来越多的推荐场景得到兴起，尤其是以列表推荐形式为主的信息流推荐。以手淘信息流为例，进入猜你喜欢场景的用户，兴趣常常是不明确的，用户浏览时往往没有明确的商品需求，而是在逛的过程中逐渐去发现想买的商品。而推荐系统在用户逛的过程中，会向客户端下发并呈现不同类型的商品让用户从中挑选，推荐系统这个过程中会去捕捉用户的兴趣变化，从而推荐出更符合用户兴趣的商品。然而推荐系统能不能做到用户兴趣变化时立刻给出响应呢？01推荐系统中的痛点推荐系统以往的做法都是通

Prometheus 为啥不报警?不妨写一篇文章来解决下面两个问题： 我的 Prometheus 为啥报警？ 我的 Prometheus 为啥不报警？ 从 for 参数开始我们首先需要一些背景知识：Prometheus 是如何计算并产生警报的？看一条简单的警报规则：-alert:KubeAPILatencyHighannotations:message:TheAPIserverhasa99thpercentilelatencyof{{...

什么是Prometheus?Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。Prometheus目前在开源社区相当活跃。Prometheus和Heapster(Heapster是K8S的

监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。本文主要分享在 Prometheus 实践中遇到的一些问题和思考，如果你对 Kubernetes 监控体系或 Prometheus 的设计还不太了解，可以先看下容器监控系列[1]。几点原则 监控是基础设施，目的是为了解决问题，不要只朝着大而全去做，尤其是不必要的指标采集，浪费人力和存储资源（To B商业产品例外）。 需要处理的...

使自己的代码更规范，更易懂

1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 (2) 为什么要做特征选择       在机器学习的实际应用中，特征数量往往较多，其

Tags: 数学, 机器学习与人工智能, 计算机科学save it69 savedtags:贝叶斯mathbayesianalgorithm数学science教程bayesprogramming刘未鹏概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看

正则化(regularization)在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决，但是其他反问题却很容易得到答案。显然，易于解决的问题不会比很难解决的问题更

摘要：概率主题模型是一系列旨在发现隐藏在大规模文档中的主题结构的算法。本文首先回顾了这一领域的主要思想，接着调研了当前的研究水平，最后展望某些有所希望的方向。从最简单的主题模型——潜在狄立克雷分配（Latent Dirichlet Allocation，LDA）出发，讨论了其与概率建模的联系，描述了用于主题发现的两种算法。主题模型日新月异，被扩展和应用许多领域，其中不乏有趣之处。我们调研发现很多扩

隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。　　考虑下面交通灯的

感觉数学似乎总是不够的。这些日子为了解决research中的一些问题，又在图书馆捧起了数学的教科书。　　从大学到现在，课堂上学的和自学的数学其实不算少了，可是在研究的过程中总是发现需要补充新的数学知识。Learning和Vision都是很多种数学的交汇场。看着不同的理论体系的交汇，对于一个researcher来说，往往是非常exciting的enjoyable的事情。不过，这也代表着要充分

摘要　　　生成式模型：无穷样本 -> 概率密度模型 = 产生式模型 -> 预测　　判别式模型：有限样本 -> 判别函数 = 判别式模型 -> 预测简介　　简单的说，假设 o 是观察值，m 是模型。　　如果对 P(o|m) 建模，就是生成式模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这

HMM 模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM 是一种产生式模型，定义了联合概率分布 ，其中 x 和 y 分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，产生式模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因为我们需要将观察序列的元素看做是彼此孤立的个体即假设每个元素彼此独立，任何时刻

统计学习中有一个重要概念叫做residual sum-of-squares　　RSS看起来是一个非常合理的统计模型优化目标。但是考虑k-NN的例子，在最近邻的情况下（k=1），RSS=0，是不是k-NN就是一个完美的模型了呢，显然不是k-NN有很多明显的问题，比如对训练数据量的要求很大，很容易陷入维度灾难中。　　k-NN的例子说明仅仅优化RSS是不充分的，因为针对特定训练集合拟合很

平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式，在x0处展开，

文字和数字的起源很久以前人类以不同的叫声表示不同的信息，达到彼此交流的目的，当所要表达的信息太多时，叫声已经不够用了，于是文字产生了。 文字：知道“罗塞塔”石碑的典故。信息冗余的重要性：当石碑经历风吹日晒，一部分文字被腐蚀掉时，还有另一部分重复的文字作为备份，可以还原石碑的信息。类似的还有人体的DNA，在人体当中，有99%的DNA是无效的，正是这99%保证了人类的正常繁衍，当遇人类

问题：为什么通常牛顿法比梯度下降法能更快的收敛？解答：牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。

正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布，记为：X∼N(μ,σ2),则其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度

周末在家无聊闲逛github，发现一个很有趣的开源项目，作者用手绘图的方式讲解了机器学习模型构建的全流程，逻辑清晰、生动形象。同时，作者也对几张图进行了详细的讲解，学习之后，收获很多，于是将其翻译下来，和大家一起学习。地址：https://github.com/dataprofessor/infographic全文如下：感觉学习数据科学枯燥无味，那如何能让学习数据科学变得有趣而简单呢？带着这个目标，我开始在iPad上涂鸦建立机器学习模型所需的流程。经过几天的努力，上图所示的信息图就是我...

需要的小伙伴可以私信博主提供相关资料哦资料展示如下：神经网络线性代数python基础scipy科学计算spark数据保存及可视化numpypandasbokeh画图matplotlibggplot机器学习sklearnkerastensorflow算法数据结构复杂度排序算法...

01 概念科普篇关于neighborhood serach，这里有好多种衍生和变种出来的胡里花俏的算法。大家在上网搜索的过程中可能看到什么Large Neighborhood Serach，也可能看到Very Large Scale Neighborhood Search或者今天介绍的Adaptive Large Neighborhood Search。对于这种名字相近，实则大有不同的概念，很是让小编这样的新手头疼。不过，小编喜欢凡事都要弄得清清楚楚明明白白的。为了防止大家混淆这些相近的..

本文主要在Spark平台下实现一个机器学习应用，该应用主要涉及LDA主题模型以及K-means聚类。通过本文你可以了解到： 文本挖掘的基本流程 LDA主题模型算法 K-means算法 Spark平台下LDA主题模型实现 Spark平台下基于LDA的K-means算法实现 1.文本挖掘模块设计1.1文本挖掘流程文本分析是机器学习中的一个很宽泛的领域，并且在情感分析、聊天机器人、垃圾邮件检测、推荐系统以及自然语言处理等方面得到了广泛应用。文本聚类是信

导读：用户画像也是近几年比较热的一个词，不过很多小伙伴对于画像的认知还只是标签化的层面，或者只是利用其做一些简单的分群分析；如何全面地认知并做系统性地尝试，背后有非常多的点需要我们深思挖掘。今天就根据自己的一些浅见进行分享，因为与商品画像的联系，中间也会掺杂一些商品画像的知识。如果不足和错误之处，还望大家批评指正，以下enjoy~今天的分享主要介绍如何通过用户及商品画像来构建数字化体系，前面是整个内容的概述，然后从浅到深我们去挖掘和讲解其中的各个模块，由于时间的原因，我们会主要通过用户画像展开，对于重要

导读：招聘业务是多行为场景，用户需求和交互周期短、行为稀疏。本次分享基于业务挑战，将介绍代价敏感、向量检索等技术在招聘深度召回中的应用，最后总结实践中的教训与心得。主要内容包括： 58招聘业务场景 招聘推荐系统 基于行为的向量化召回 实时深度召回 教训和心得 0158招聘业务场景首先和大家分享下58招聘涉及的业务及场景。1.58招聘业务招聘行业：据2018年统计，我国总人口13.9亿，就业人口7.7亿，三大产业就业人口占比分别为26.

导读：支付欺诈风险是携程金融风控团队的主要防控对象，它一般是指用户卡片信息或账号信息泄露后，欺诈分子利用这些信息在携程平台进行销赃，侵害用户资金安全，给用户和携程平台带来损失。携程金融风控团队需要在不影响正常用户自由出行的前提下，对这样的风险交易进行精准识别并实时拦截，从而保护用户资金安全。支付欺诈风险具备以下3点特性。1. 高对抗性欺诈分子的作案手段绝非一成不变，他们也会根据我们的策略拦截结果对作案方式不断调整，不断形成风险转移，如果我们的策略模型不及时追踪这种变化，则无法做到"见招拆招"。2

导读：最近在朋友组织的创业群听到了一些前辈和同行讨论的话题，收获很大，拿出来分享给大家。这个话题就是TikTok在美国的留存率一年之内取得了大幅上涨，有哪些地方做对了呢？本文将站在算法工程师的角度做一些个人的猜想和推演，不吝拙见，以求抛砖引玉，望不妥之处请批评指正。01部分结论：TikTok的大幅上涨来源1. 供给侧 ( 努力 ) 内容量大幅提升：主要来自于开放跟拍权限，加上低门槛创作工具和爆款内容的持续引流。 内容审核效率的提升：机器审核准确率提高。 2. 运营侧 ( 努力

导读：垂直领域内的自然语言处理任务往往面临着标注数据缺乏的问题，而近年来快速发展的半监督学习技术为此类问题提供了有希望的解决方案。文本以 Google 在 2019 年提出的 UDA 框架为研究主体，详细探索该技术在熵简科技真实业务场景中的实践效果。本文主要有三方面的贡献： 以金融文本分类为案例，探索了 UDA 在真实场景中的效果和不足； 探索了 UDA 在轻量级模型上的效果； 增加了原始 UDA 论文中未披露或未完成的研究，如领域外数据的影响，错误标记数据的影响。 01

导读：本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 Streaming Job 管理 未来规划优化方向 建设背景Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印...

在实际工作中，你是否遇到过这样一个问题或痛点：无论是通过哪种方式获取的标注数据，数据标注质量可能不过关，存在一些错误？亦或者是数据标注的标准不统一、存在一些歧义？特别是badcase反馈回来，发现训练集标注的居然和badcase一样？如下图所示，QuickDraw、MNIST和Amazon Reviews数据集中就存在错误标注。为了快速迭代，大家是不是常常直接人工去清洗这些“脏数据”？（笔者也经常这么干～）。但数据规模上来了咋整？有没有一种方法能够自动找出哪些错误标注的样本呢？基于此，本文尝试提供一

导读：作为连接人的工具，社交产品的价值不言而喻；熟人社交领域，微信已占据绝对霸主地位，但是在陌生人社交领域还未出现类似绝对地位的产品，今天就以探探和Tinder为例，跟大家聊聊陌生人社交。本文主要通过对业务策略的分析，引入一些数据、算法、架构体系设计的思考，希望可以让大家在做算法和数据过程中了解到对业务洞察的必要性。我们常用的资讯、短视频、电商、音乐等，属于典型的以单向匹配及满意度为终结的产品，比如电商产品中的用户->商品、短视频产品中的用户->短视频等；而陌生人社交则是以双向匹配满意度为终

导读：58同城作为分类信息网站，服务覆盖多个领域，如房屋租售、招聘求职、二手买卖等等，不同的业务有不同的特点，这使得多业务融合推荐成为一大挑战。如何准确挖掘用户的需求？如何平衡各业务之间的流量分配？如何增加多样性提升用户体验？这些问题将在本次分享中解答。01推荐系统整体架构58的推荐系统架构主要分成三部分： 对外接口层：负责对外输入输出、展示功能，服务于首页、详情页等等场景； 业务逻辑层：包含推荐系统的主要模块，如兴趣服务、召回模块、排序模块等； 数据算法层：负责底

本文根据清华大学袁博老师慕课网视频整理文章目录一、支持度与置信度二、关联规则误区与注意事项三、Apriori算法四、序列模式关联关联规则分析就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。“啤酒与尿布”的例子相信很多人都听说过吧，故事是这样的：在一家超市中，人们发现了一个特别有趣的现象，尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。为什么有这么奇怪现象呢？是.

本文根据清华大学袁博老师慕课网视频整理文章目录一、Bagging二、基于决策树的Bagging：RandomForests，RF三、Boosting四、Adaboost在解决分类问题时，假如分类模型不够强大，对样本的分类结果就不会很理想。这时如果我们多找一些分类模型，让它们一起做决策，模型强度会不会高一点呢？集成学习就是把多种分类器按策略组合起来，并根据所有分类器的分类结果做出最后的判断。如下图，三种分类器的分类结果都有一点点错误，如果把三类组合在一起就可以完美地把.

01|背景我们已经知道单层感知器具有简单的分类功能（比如将二维平面上的若干点分为两类），而且随着网络层数的增加，网络处理复杂问题的能力也随之增加。但是从单层感知器模型提出后，在相当长的一段时间内都没有人将单层感知器扩展到多层，究其原因，就是人们一直没有找到合适的训练方法来对各层之间的权值进行调整。直到1986年，Rumelhart 和McCelland领导的科学家小组才对多层感知器的误差反向传播（error back propagation,简称BP）算法进行了详尽的分析，将神经网络扩展到了多...

01 |人类神经系统原理生物神经元间的信号通过突触来传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。人体内有上百亿个神经细胞，这些神经细胞通过突触连接可以构成许多不同的路径，来传递信息。一个神经元有两种状态——兴奋和抑制。平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。（进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负）。如果叠加总量超过某个阈值，神经..

导读：丰富准确的地图数据大大提升了我们在使用高德地图出行的体验。相比于传统的地图数据采集和制作，高德地图大量采用了图像识别技术来进行数据的自动化生产，而其中场景文字识别技术占据了重要位置。商家招牌上的艺术字、LOGO五花八门，文字背景复杂或被遮挡，拍摄的图像质量差，如此复杂的场景下，如何解决文字识别技术全、准、快的问题？本文分享文字识别技术在高德地图数据生产中的演进与实践，介绍了文字识别自研算法的主要发展历程和框架，以及未来的发展和挑战。文末推荐：AMAP-TECH算法大赛。一 背景...

导读：个性化投放的"无人驾驶"平台何以自动化支持上千个场景的千人千面投放？商家、运营、小二，我们如何做到极致赋能和提效？面对旅行场景下用户需求低频、行为稀疏，特别是在营销活动大促期间，用户量迅速增长，用户的冷启动问题更加严峻，如何提高冷启动用户的推荐效果成为关键。另外，面对旅行场景下的丰富多样的的货品需求依赖关系，我们如何来组织和呈现给用户？阿里飞猪个性化推荐团队将通过本文，为大家带来旅行场景下的个性化营销平台揭秘。主要分享内容包括： 背景 个性化营销平台架构 个性化营销平台算

前言“ I’m sorry. I can’t do that, Dave.” 这是经典科幻电影《2001: A Space Odyssey》里HAL 9000机器人说的一句话，浓缩了人类对终极人工智能的憧憬。让机器学会说这样简单一句话，需要机器具备情感认知、自我认识以及对世界的认识，来辅助机器处理接收到的各种信息，了解信息背后的意思，从而生成自己的决策。而这些认知模块的基础，都需要机器具备知识学习组织推理的能力，知识图谱就是为实现这些目标而生。今年5月，美团NLP中心开始构建大规模的餐饮娱乐知识图谱