- 博客(45)
- 收藏
- 关注
RSS订阅
原创 隐\马尔可夫模型 “告诉你” 马航（MH370）去哪儿了
很多枯燥的知识，往往只要结合一个很好的实际问题，会带来很多的兴趣动力搞定它！马航问题： 2014年3月8日，马来西亚航空公司MH370航班(波音777-200ER)客机凌晨0:41分从吉隆坡飞往北京；凌晨1:19分，马航MH370与空管失去联系。凌晨2:14分飞机最后一次出现在军事雷达上之后人间消失。 2015年7月29日在法属留尼汪岛(l‘île de la Reunion)发现襟副翼残骸； 2015年8月6日，马来西亚宣布，该残骸确属马航MH370。随后法国谨慎宣布...
2020-07-16 17:28:27
665
原创 XAI Explainable AI 模型可解释性（3）
上篇提到深度学习中对隐层的分析，隐层分析需要进行大量神经元节点的分析，且只能分析到的神经元是否有意义，却无法进行优化改造。这篇我们分享一种新的思路，关注双模型的不一致性解释。想象这样的场景，当医生看过影像后跟患者说因为balabala，诊断为癌症时，其实医生说的话患者基本也听不懂，但患者不会因此认为医生诊断是错的。同理一个模型所给的结果，人们没办法理解它，但不代表模型是错的。诚然，我们给可解释是为了避免模型的“错误决策”，但似乎也没必要完全地让复杂模型向着人们所能理解的方向靠拢，就好像非要让拉低医生跟患
2021-10-12 18:25:06
345
原创 XAI Explainable AI 模型可解释性（2）
深度学习中的可解释性方法，前接常规机器学习的可解释性方法。隐层分析法 模拟模型方法 注意力机制 分段线性函数下的神经网络(Piecewise Linear Neural Networks, PLNN)1、隐层分析法，通过关注某些神经元节点对结果的影响程度或关联关系，对隐层进行解释。 比如卷积神经网络的基础上，引入反卷积神经网络，即利用卷积层中卷积核的转置来进行反卷积，并可视化出每个网络层学习到的特征2、模拟模型方法，利用模型压缩的方法，通过构造一个简易...
2021-10-12 16:48:32
783
原创 XAI Explainable AI 模型可解释性（1）
前言: 搜索这个话题的壮士，一定是想寻找一种更适合自己模型可解释的方法，提升模型的可信和透明度，帮助于模型优化改进或者模型识别和防止偏差等等。故这里不再把时间浪费在什么是可解释这样的问题上。笔者把目前的解释性方法汇总在下面，并持续更新。总的来说：常规的模型解释的核心思路：想办法使用一系列可解释的模型对复杂模型做解释，可解释的模型比如线性回归、逻辑回归、决策树等三个层面：算法透明度——模型细节、全局可解释——全局输出、局部可解释——具体样本预测以下我们分三部分：传统的机器学习的可解释性方.
2021-10-12 15:53:48
723
原创 知识蒸馏 Knowladge Distillation
蒸馏的本意是通过物质不同的沸点，分离出所需的物质。神经网络的KD也是如此，但用下面的图例更容易被接受。可以发现6岁后对同一区域的神经网络开始简化，只保留最有用的部分。问题来了：为什么不直接训练小网络，要大费周折先训练一个大的，再化简到小的呢？因为大的网络训练更容易实现，这好比买大乐透，买的越多中奖的概率越大。weight pruning 使得矩阵不规则，GPU无法加速法二解释：聚类后，用cluster的id表示，（数值可以取均值）法三解释：霍夫曼编码，比较...
2021-10-12 14:35:30
191
原创 pyflink作业提交的踩坑过程，看完少走两个星期弯路
部署环境JDK 1.8+ (1.8.0_211)Maven 3.x (3.2.5)Scala 2.11+ (2.12.0)Python 3.5+ (3.7.6)Git 2.20+ (2.20.1)pyflink置于High-level 的 TableAPI/SQL 和有状态的 DataStream API之上的。Py4J 作为 Java VM 和 Python VM 之间通讯的桥梁。用户自定义函数（UDF）： 集成 Python 生态（ Python 类库）到...
2021-04-30 17:27:57
2797
6
原创 与flink打交道（2）——PyFlink的
为什么PyFlink？pyflink顾名思义，Pythoh 生态与大数据生态有密不可分的关系，调查发现大多数 Python 用户正在解决 ”数据分析“，”机器学习“的问题，那么 Python 生态和大数据生态结合，对 Python 生态一个特别重要到意义就是单机到分布式的能力增强，这是大数据时代海量数据分析对 Python 生态的强需求。PyFlink 的核心目标将 Flink 能力输出到 Python 用户，进而可以让 Python 用户使用所有的 Flink 能力。 将 Python
2021-03-19 18:58:36
561
原创 与Flink打交道（1）——初识
Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台。和Spark类似，两者都希望提供一个统一功能的计算平台给用户，都在尝试建立一个统一的平台以运行批量，流式，交互式，图处理，机器学习等应用。来历：2014年后迅速成为Apache 的顶级项目之一特点：流处理：低延迟、Exactly-once保证； 批处理：高吞吐、高效处理优势：支持高度灵活的窗口操作（滑动、滚动、session窗口） 支持有状态计算的Exactiy-once 语义 提供DataStream API和Da...
2021-03-12 09:05:22
109
原创 我说的DF21不是东风快递，而是最新的深度森林网络
深度森林算法，就冲这个名称DF21，这个算法必须火啊，因为我马上想到的是这个呀！近十几年来，深层神经网络通过构建分层或「深层」结构，有显著进展。大部分被广泛应用的深度神经网络都使用具有随机梯度下降的反向传播作为训练过程中更新参数的主力。尽管老掉牙的反向传播一直是训练神经网络等可微分学习系统的最好方法。但其他方向探索使用非可微模块来构建多层或深度模型的可能性的需求一直被探索，且其在现实应用上也有很大的潜力。例如，基于树的集成（例如随机森林或梯度提升决策树（GBDT）仍然是多个领域中建模离散或表格数据的
2021-02-02 17:15:33
818
原创 python flask上手中遇到的问题汇总
1、2020版pycharm激活，确实费了点劲找到了，有需要私信我吧，太长了这里放不下。2、第三方库安装的问题 方法一：pip install包名；pip uninstall包名。 方法二：pip install下载路径\包名.whl （需要先下载第三包：地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/，找到所需的包并下载保存），如下例安装gensim包所示： 方法三：pycharm的设置里面直接搜索，若没有尝试新增镜像源（...
2021-02-02 16:54:34
282
原创 影像组学
1、影像组学的常规步骤是怎么样的？传统影像组学的步骤包括：1、影像获取及预处理；2、感兴趣区(ROI)标定；3、影像组学特征提取；4、特征降维；5、模型建立、优化。医学影像有哪些主要有CT（电子计算机断层扫描）、MRI（磁共振成像）、PET（正电子发射断层扫描）2、有哪些好用的医学影像配准软件？首推Ants, 其次FSL，此外3D Slicer组间也可进行配准。另外，SimpleITK包可支持多种编程语言进行图像配准。3、常用的医学影像文件格式转换软件有哪些AFNI是我
2021-01-23 20:54:07
7906
4
原创 2020-11-17
人工智能的到来，凸显了机器学习、数据挖掘的地位，当人工智能涉及到传统的统计学分析的领域时，自然也产生了很多分歧，研究人员经常困惑的问题是：数据挖掘中是否要做假设检验？其实本质可以理解跨领域导致的，因为大多从事人工智能的人没有足够的统计分析经验。这篇文章就给大家深度剖析一下。 剖析思路主线：从“真正意义上理解什么是假设检验”出发，懂得“做经典假设检验的真正目的是什么”，之后顺理成章的得到“数据挖掘中是否要做经典假设检验”。另外讲一下“什么情况下需要做经典假设检验”。一、真正意义上理解什么...
2020-11-17 14:11:15
279
原创 生存分析——给宁康康什么时候有女朋友
宁有女朋友吗，来，先给宁康康什么时候会结婚，哈哈!以50岁为截断，你从出生开始，到 t 时刻没有女朋友的概率为多大？这个概率会受什么影响呢？1）时间，随着年纪的增大，结婚的概率也会越来越大，这个因素仅仅取决于时间；2）一些客观因素影响，比如：学历、财力、阅历、魅力、blabla综上，我们抽象出了两部分的因素，一部分受时间的影响，你可以理解为是自然情况下的概率（不谈少数类）；另一部分受客观因素的影响，这些因素会影响整体的概率，使得它在基准上增加或减少（另一半的质量）。有人问了这跟生存分
2020-09-11 14:39:11
520
原创 Tensorflow gpu 安装 看了这篇还安装不成功，我吃屎
瞎搞！！！上来就第一步啥，第二部啥的，你跟着弄半天最后发现都白忙活。你要做的是先了解你的电脑和配置情况！因为整个安装过程唯一问题是所有的东西的版本是否全都统一。1、显卡部分：了解你的驱动版本、支持的CUDA版本（为统一版本做准备） 方法：鼠标右键—>NVIDIA控制面板—>组件 （查看的是支持的版本，不是已安装的版本，所以cmd输入nvcc -V是在扯淡） 说明：支持的CUDA版本是最高版本，可向下兼容（不是上来看到这里是什么版本就直接下载）...
2020-07-22 10:54:54
2236
3
原创 LSTM案例——动态和可解释的ICU死亡风险预测
一、简介： 该科研项目整合了2011年至2016年期间，某地首都地区四个icu住院患者的电子健康记录的静态数据和生理时间序列数据，通过LSTM算法对建立动态风险预测模型，以1h的时间分辨率训练一个递归神经网络。使用20%的训练数据集的holdout方法对模型进行内部验证，并使用丹麦第五医院以前看不见的数据进行外部验证。以Matthews相关系数（MCC）和接收机工作特性曲线下面积...
2020-07-16 17:29:59
4062
5
原创 异常点检测 孤立森林（isolation forest）
先说重点1、孤立森林是一种适用于连续数据的无监督异常检测方法2、孤立森林，不再是描述正常的样本点（给出一个正常样本在特征空间中的区域，对于不在这个区域中的样本，视为异常），而是要孤立异常点。3、根据‘高密度的簇是需要被切很多次才能被孤立，低密度的点被切分较少次就可以被孤立’的原理，最终算法比较路径长度的平均值即可捕获异常点。4、对小数据集能取得更好的效果。样本数较多会降低孤立森林孤...
2019-12-31 18:14:20
2807
原创 全完整的缺失数据与处理方法总结
你有没有发现，尽管你知道很多缺失数据填补的方法，但每次数据分析，都在很难拿定具体的补全方法。我想可能的原因是你还只停留在技术层面，而不理解内在关系，那么请完成以下阅读吧。 首先我们需要明白的是，没有任何方法能够完美解决这个问题。不同问题有不同的数据插补方法——时间序列分析，机器学习，回归模型等等，很难提供通用解决方案。但这也并不代表完全没有规则可遵循。这里，我将试着...
2019-12-25 17:56:57
4087
原创 重复测量的方差分析
重复测量的意义：由于重复测量时，每个个体的测量结果之间存在一定程度的相关，违背了方差分析数据独立性的要求，如果仍使用一般的方差分析，将会增加犯I类错误的概率，所以重复测量资料有相对应的方差分析方法。重复测量方差分析要求：（需要考虑5个假设。）假设1：因变量唯一，且为连续变量；假设2：有两个受试者内因素（Within-Subject Factor），每个受试者内因素有2个或以上的水平。（...
2019-12-24 12:07:23
18632
2
原创 数据挖掘在医疗领域的实战问答
【怎么处理比较相关的特征】首先存在相关特征对树模型影响不大，主要还是考虑对回归模型的影响；对于回归模型，相关性很强的就去掉好了，相关性较强的，我觉得可以向spss那样做逐步前（后）向回归，就是每次增加或减少一个特征，看对模型的影响，包括特征p值和模型p值；对于树模型，如果不是非要对特征做解释，而重在模型预测的话，可以不用太关注。...
2019-08-02 17:48:51
636
翻译 强化学习医学案例——脓毒症人工智能治疗决策
脓毒症是全世界第三大死因，也是医院1-3级死亡的主要原因，但是最好的治疗方法。战略仍然不确定。特别是，有证据表明目前静脉输液的做法而血管加压剂是次优的，在1,4-6比例的患者中可能会引起伤害。解决这个连续的决策问题，我们开发了一种强化学习剂，人工智能临床医师，它提取了内隐从大量患者数据中获得的知识，超过了临床医生的生活经验的许多倍通过分析大量（大部分是次优的）治疗决定来优化治疗。我们证明了人工智能...
2019-07-24 18:06:08
4503
6
原创 样本不均衡之Borderline-SMOTE——smote算法的改进
许多现实领域存在着不平衡的数据集，如发现不可靠的电信客户、卫星雷达图像中的漏油检测、学习单词发音、文本分类、欺诈电话检测、信息检索和过滤任务等。在这些领域中，我们真正感兴趣的是少数类别而不是多数类别。因此，我们需要对少数群体作出相当高的预测。smote合成少数样本过采样技术是解样本不均衡的方法。本文提出了两种新的过采样方法，即Borderline-smote1和Borderline-smote2，...
2019-07-10 15:00:09
16515
3
原创 怎么使用模型融合Stacking效果没有提升反而下降？
关于模型融合的原理以及模型融合的各种方法的文章帖子太多太多，不得不说千篇一律，然而模型融合怎么总感觉是‘别人家的模型融合’，自己模型融合效果没有提升反而下降了呢？我们说说被称为kaggle后期杀手锏的Stacking。一、简单说下Stacking最核心的两个点，推荐以下文章了解stacking其他内容。Kris Zhao：【干货】比赛后期大招之stacking技术分享 峰峰...
2019-04-28 18:42:11
7642
3
原创 理解了这些，就可以在统计分析与数据挖掘中自由切换
人工智能的到来，凸显了机器学习、数据挖掘的地位，当人工智能涉及到传统的统计学分析的领域时，自然也产生了很多分歧，研究人员经常困惑的问题是：数据挖掘中是否要做假设检验？其实本质可以理解跨领域导致的，因为大多从事人工智能的人没有足够的统计分析经验。这篇文章就给大家深度剖析一下。 剖析思路主线：从“真正意义上理解什么是假设检验”出发，懂得“做经典假设检验的真正目的是什么”，之...
2019-03-15 14:10:41
561
原创 SMOTE算法——合理样本生成器，告别样本不均衡
首先，看Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法：抽样 常规的包含过抽样、欠抽样、组合抽样 过抽样：将样本较少的一类sample补齐 欠抽样：将样本较多的一类sample压缩 组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N 这种方法要么丢失数据信息，要么会导致较少样本共线性，存在明显缺陷权重调整 常规的...
2019-02-14 11:41:18
4980
原创 Logistic Regression核心知识点透析
一、线性回归到广义线性回归 线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。线性模型通过联合其他函数扩展成为，建立响应变量的数学期望值与线性组合的预测变量之间的关系的模型，大大扩展了线性模型可解决问题的范围，这就是广义线性回归。不同的联系...
2019-02-13 18:28:55
566
原创 【绝地求生】—— AI挖掘百万‘鸡王’的游戏数据，让你把把吃鸡
绝地求生这个电子竞技游戏已经风靡全球。此款游戏有超过5000万份出售，是第五个最畅销的游戏，并有数百万活跃的月度玩家。100名玩家被空手扔到一个岛上，随着游戏区不断缩小，玩家必须探索，清除，并消灭其他玩家，直到只有一个人或一个队活到最后，这就是玩家经常说的“吃鸡了”。不过你知道‘鸡王’获胜的最佳策略是什么吗？你应该躲在一个地方等待胜利，还是需要成为最棒的射手呢？让我们来看看数据...
2018-10-09 10:48:47
3573
5
原创 ARIMA——从案列出发，让你彻底懂得时间序列模型
解读导航：文章脉络会先以图问结合的方式，让你理解ARIMA的基本概念和术语，然后以预测下月商品销售额为实例，带你亲临建立时间序列模型的步骤和方法，之后介绍一种很有前瞻性的方法Prophet，最后总结时间序列模型的要点、技巧和注意事项。一、用图形理解概念ARIMA模型的全称叫做自回归移动平均模型(ARIMA, Autoregressive Integrated Moving Average ...
2018-08-24 16:42:36
11505
1
原创 kaggler告诉你，机器学习、数据挖掘、AI的路怎么走
在 Kaggle 平台上，能够接触到各行各业的问题，开阔视野。在公共数据集上和国际高手切磋，也能够学习到一些比较实用的招数。比赛和研究的区别，是比赛中的方法一般都是比较有效的，在这个过程中也可以不断优化自己对新问题的解决思路。一、问题眼花缭乱，但万变不离套路在比赛中，有广告、交通、金融、教育、医疗等各式各样的问题，例如根据实际业务，做各种各样预测的问题（预测销量、点击率、推荐排序等）。在k...
2018-08-16 16:55:15
381
原创 web文本数据清洗流程及实例
今天，超过80%的数据是非结构化的。文本数据预处理是数据分析前的必经之路。大多数可用的文本数据本质上是高度非结构化和嘈杂的，需要更好的见解或建立更好的算法来处理数据。我们知道，社交媒体数据是高度非结构化的，因其非正式的交流，存在包括拼写错误、语法不好、俚语的使用、诸如URL、停用词、表达式等不必要内容。一个典型的商业问题，假设你感兴趣的是：这是iPhone在粉丝中更受欢迎的特点。下面你已...
2018-08-15 11:34:24
5990
原创 从对最小二乘做线性回归的正则化，逐渐延伸至ElasticNet回归
要想理解ElasticNet回归，正则化是必须要首先知道的，其次是岭回归和Lasso回归，知道了这些，弹性网回归自然也就明白了。所以我们从一个最小二乘做线性回归问题开始，逐渐推导出ElasticNet回归一个问题：我们都知道利用最小二乘法来做线性回归，即让损失函数达到最小值，可得到的最优的拟合参数（即θ ）。但是如果我们用来拟合的特征变量过多，而且特征变量之前存在很高的相关关系...
2018-08-08 18:14:36
1649
原创 TPOT：利用遗传算法实现了机器学习自动化
前言在机器学习这个领域工作的人都知道设计有效的机器学习系统是一个乏味的过程,通常需要对机器学习算法有相当的经验,问题领域的专业知识，以及蛮力搜索来完成。就没有什么办法，减轻这部分乏味的工作吗？ TPOT可以一、TPOT简单介绍TPOT 是一个 Python 编写的软件包，利用遗传算法行特征选择和算法模型选择，仅需几行代码，就解决了机器学习流程设计中特征工程、模型选择、超参优化三个乏味的...
2018-08-08 17:07:24
2727
原创 你真的懂one-hot编码吗？
一个很隐晦的问题在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间，所以往往默认数据数据是连续的（可以计算距离？），并且是有序的。但是有时用数字表示的数据并不是有序的，而是随机分配的。举个例子：有一个离散型特征，代表工作类型，该离散型特征，共有三个取值...
2018-06-29 12:07:11
9434
2
原创 三分钟搞懂你知道和不知道的哪些数据类型转换
无论是数据分析还是软件开发，总是会被数据类型这个‘磨人的小妖精’搞得烦躁不堪。数据分析师最清楚这是多么痛的领悟！！！ 一般情况下的数据类型、类型转换还好，这里不多赘述，文章最好给出两张汇总表，你可以收入囊中。这里总结下会让你爆炸的几个坑，以及一些免于记忆的操作技巧。1、None 和 Nan 1）数据类型 None是一个python...
2018-06-27 18:04:00
299
原创 【墙裂推荐】最完整的数据标准化解答！！！
机器学习初学者常常会将拿来的数据，直接喂入算法训练，不得不说，再进一步深入研究中，数据标准化是他们不得不搞清楚的难题。什么是数据标准化，标准化的作用是啥，什么情况下应该对应什么方法尼？一、关于什么标准化，这里就不阐述了，帖子太多了。我需要说明的是，数据标准化和归一化其实是一回事，只是归一化常为将数据转换到（0-1）之间，标准化则不一定。二、数据标准化：四作用一缺点（注意：不同方...
2018-06-21 11:46:03
2148
2
原创 DeepLearn——NeuralStyle
“人工智障”还会“造假”，它神奇的仿造能力到底是怎么回事？ ——其神秘的面纱其实就是一个loss function。这个代价函数由两部分组成，一部分负责画的内容，即content部分；另一部分负责风格，即style部分。同样取内容画和风格画的conv5的W，同时初始化一张新画（可以是一张白纸：w均为0）。content部分：内容画的W矩阵与新画的W矩阵的差的平方和（con...
2018-05-30 17:04:23
190
原创 小白搭建TensorFlow_GPU，你必须要先明白这些东西，一定帮得到你
一、 小白搭建环境感觉比深度学习本身还吃力，因为没搞清楚下面这些概念，所以查很多资料都安装不成功。 1、什么是GPU？为什么装GPU版？你电脑上有GPU吗？有的话在电脑上哪个位置？ GPU是图形处理器；GPU更适合跑深度学习代码；GPU通常存在于你的显卡里，故在高级属性中的设备管理器查看你电脑上的显卡型号，因为深度学习需要一块不错的显卡（如配有SSD就更好了），所以...
2018-05-29 17:15:24
3614
原创 深度学习理解
在链式结构中，主要考虑的是网络的深度和每一层的宽度。通常来说更深的网络对每一层能够使用更少的单元数以及参数，并且泛化效果更好，但是它也更能难以训练在很多情况下，使用更深的模型能够减少表示期望函数所需的单元数量，并且可以减少泛化误差。增加网络的深度往往能够得到比增加宽度更加好的泛化能力。（当然深度与宽度同等重要）正则化策略中，有些是向机器学习模型中添加限制参数值的额外约束，有些是向目标函数添...
2018-05-16 16:21:03
680
原创 VGG Net
image - mean_pixel的操作是必须的么？有什么优点？（非必要操作、先验操作、加快收敛）训练的时候减均值相当于加了一个先验，就是网络的输出对于图像整体亮度的改变具有不变性。也就是说，这样假设输入图像像素整体加上常数之后预测结果不变。这个先验在大部分任务上都是成立的，比如物体分类，物体分割等。好处是可以作为一种正则化，减少网络的学习负担，加快收敛。所以通常训练都会使用减均值的操作...
2018-05-09 16:03:12
251
原创 机器学习的八个核心能力
机器学习是大数据、人工智能的核心，是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者，方便的机器学习egg为你涉入该领域提供了便捷。不过，能够确定一套高商业价值的模型，你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。1、问题模型化能力 机器学习的最终目的是实现某种问题的利益最大化，所有实际问题最终都会转化为一个数据科学的优化问题，那...
2018-03-05 16:00:17
2719
原创 监督学习框架
一、一句话概述：不断调整的，被泛化了的，寻优模型系统二、监督学习框架图二、监督学习要素1、经验误差与泛化误差 ： 衡量模型的准确率2、验证误差与测试误差 ： 衡量模型训练的好坏2、超参数（牵狗绳）：控制参数的参数3、正则化 ： 减小泛化误差，代价是提升了一些经验误差###欢迎加入全网音频视频课程共享群群，和各领域大佬一起讨论学习知识####（若群二维...
2018-02-28 19:28:05
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人