RUC_Lee的博客

游程检验和随机性检验1 游程检验的含义2 应用1：两总体分布一致性检验2.1 定义及解决的问题2.2 原理2.2.1 Step1：提出假设2.2.2 Step2：计算检验统计量2.2.3 Step3：决策2.3 Python实现3 应用2：样本随机性检验（单总体）3.1 定义及解决的问题3.2 原理3.2.1 Step1：提出假设3.2.2 Step2：计算检验统计量3.2.3 Step3:决策3.3 Python实现1 游程检验的含义什么叫游程检验（Runs test）呢？游程检验的定义：亦称“连贯

KL散度及Python实现1 KL散度1.1 定义1.2 公式1.3 几个结论1.4 应用1.4.1 应用1：机器学习领域1.4.2 应用2：用户画像2 Python实现求解2.1 生成分布2.2 计算方法12.3 计算方法23 参考1 KL散度在很多场合，经常会遇到KL散度这个概念，那么它到底是什么含义呢？如何定义的？又有哪些应用场景？最后如何用Python进行计算呢？1.1 定义KL散度（Kullback-Leibler divergence，简称KLD）:在信息系统中称为相对熵（relat

灰色关联分析及实践1 背景2 灰色关联分析2.1 定义2.2 名称起源2.3 思想2.4 作用2.5 算法步骤2.6 评价标准2.7 应用应用1: 旅游业发展程度的影响因子应用2:哪一种产业对GDP总量影响最大？应用3：不同产业之间的协同度（关联度）3 Python实现3.1 读入数据3.2 确定参考序列和比较序列3.3 归一化处理3.4 计算灰色关联系数3.5 计算灰色关联度3.6 结论4 总结1 背景近期需要针对某省份十大关心的产业进行一个产业协同分析，从而分析出不同产业之间的关联程度，以及单独产业

统计案例 | 系列文章合集1 背景2 统计案例系列文章合集1 背景【统计案例】 系列文章，目的是通过一系列的实际案例（经典统计案例+小编实际参与的数据分析项目）来洞悉这些案例背后所体现的“统计思维”，一方面可以培养自己基于实际案例的统计思维，另一方面对于后续希望从事统计相关工作的同学也会有所裨益（毕竟好的统计思维是通用的），同时，对于之前没有接触过统计学的小伙伴来说，不妨可以算作一个入门读物，因此小编将尽可能用一些简单诙谐的语言进行描述，大家无需有过多压力，轻松的享受统计之美吧~由于统计学知识非常的博

统计案例 | 三门问题一、前言二、背景三、思路1：直观解释四、思路2：列出概率空间与所有事件五、思路3：条件概率法六、思路4：Python模拟七、写在最后一、前言今天小编和各位小伙伴来聊一档综艺节目（最高奖项是汽车一辆……就很刺激……），以及其背后的统计案例—三门问题。二、背景“三门问题”又称蒙提霍尔问题或蒙提霍尔悖论，要讲清楚这个问题，我们首先得从一档综艺节目说起，这档综艺节目同时也是“三门问题”的来源。想象一下在一档综艺节目中，作为参赛者的你会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后

统计案例 | 二战时期德军坦克数量的估计？一、一则故事二、点估计三、矩估计背后的故事一、一则故事今天小编和各位同学来聊一则故事，在二战时期，西方盟国一直在努力确定德国的生产速度（典型的就是坦克产量），并以两种主要方式得到这个数据：常规情报收集和统计估计。方式一是根据情报人员刺探的消息，这个好理解，各种影视剧中的间谍大家已经司空见惯。根据这种方式得到德军坦克每个月的产量大约有1400辆。（还挺多？）方式二是根据盟军发现和截获的德国坦克数据，用统计分析办法得到。通过根据概率统计推断的方法，预计的数量只有

统计案例 | 统计数据会说谎？一、 前言二、 统计和数学的关系？三、 统计数据会说谎？四、 写在最后—大咖说统计！一、 前言各位小伙伴好，小编在今年将会推出 【统计案例】 系列文章，目的是通过一系列的实际案例（经典统计案例+小编实际参与的数据分析项目）来洞悉这些案例背后所体现的“统计思维”，一方面可以培养自己基于实际案例的统计思维，另一方面对于后续希望从事统计相关工作的同学也会有所裨益（毕竟好的统计思维是通用的），同时，对于之前没有接触过统计学的小伙伴来说，不妨可以算作一个入门读物，因此小编将尽可能用一

知识图谱 | 系列文章合集1 背景2 文章合集1 背景近半年小编参加了一个知识图谱相关的项目，由于之前并没有知识图谱的相关经验，所以也是从0-1的学习过程，在项目即将进入收尾阶段，自己花了一些时间进行整理和总结，完成了知识图谱的系列文章，包括知识图谱的基础篇、知识图谱存储与可视化篇和知识图谱表示学习篇。2 文章合集知识图谱的基础篇知识图谱存储与可视化篇知识图谱表示学习篇...

知识图谱 | 表示学习篇1 知识图谱表示的挑战2 词的向量表示方法3 知识图谱嵌入3.1 概念3.2 优缺点4 知识图谱嵌入方法4.1 转移距离模型—TransE及其变体4.1.1 TransE4.1.2 TransH4.1.3 TransR4.1.4 TransD4.1.5 TransSparse4.1.6 TransM4.1.7 ManifoldE4.1.8 TransF4.1.9 TransA4.2 转移距离模型—高斯嵌入4.2.1 KG2E4.2.2 TransG4.3 其他距离模型4.3.1 非结

知识图谱·存储与可视化篇1 知识图谱基础知识1.1 数据模型1.1.1 RDF图1.1.2 属性图1.2 查询语言2 知识图谱存储方法2.1 基于关系数据库的存储方案2.1.1 三元组表2.1.2 水平表2.1.3 属性表2.1.4 垂直划分2.1.5 六重索引2.1.6 DB2RDF2.2 面向RDF的三元组数据库2.3 原生图数据库2.4 上述三种数据库的比较3 重点介绍Neo4j3.1 Neo4j基础及配置3.2 Neo4j导入数据3.2.1 导入节点3.2.2 导入关系3.2.3 导入关系(含关系的

Python | 一次代码优化的经历1 背景2 思路2.1 思路12.2 思路23 具体做法4 合并为一个函数1 背景小编最近在做知识图谱表示学习相关的一个项目，而在结果整理过程中，遇到了一个问题，并自主解决，现通过博客记录一下思考的过程。现在通过知识图谱的表示学习得到了如下结果：即每个字段和对应的向量表示。df_fie_vec 字段序号 字段编号 字段向量表示 0 10

知识图谱·基础篇1 什么是知识图谱？1.1 图形角度1.2 数据角度1.3 技术角度2 知识图谱和机器学习的关系？2.1 部分应用殊途同归2.2 部分应用相结合2.3 过程中可以互为补充3 知识图谱的分类3.1 通用知识图谱和领域知识图谱3.1.1 通用知识图谱（GKG）3.1.2 领域知识图谱（DKG）3.1.3 两者比较3.2 数据知识图谱和规范知识图谱3.2.1 数据知识图谱3.2.2 规范知识图谱4 知识图谱的表示4.1 符号化表示（DKG）4.2 分布式表示（DR）4.3 两者比较5 知识图谱的构

问卷调查设计以及敏感性问题调查1 问卷调查的目的？2 问卷调查的设计3 什么叫敏感性问题调查？4 敏感性问题调查的方式4.1 方式1：迂回式提问4.2 方式2：问题设置4.3 方式3：随机化回答技术4.3.1 沃纳模型4.3.2 西蒙斯模型5 参考1 问卷调查的目的？首先来看看问卷调查的定义，引自维基百科：问卷调查是对目标对象的意见调查的其中一个方法，问卷调查的形式是由一连串写好的小问题组成，然后去访问，收集被访问者的意见、感受、反应及对知识的认识等。其实做问卷调查大概率是进行抽样调查，抽样即从总体

统计悖论1 友谊悖论（Friendship Paradox）1.1 文字版1.2 公式版1.3 现实意义2 布雷斯悖论2.1 未开通A》B路线2.2 开通A》B路线2.3 其余布雷斯悖论的例子3 参考最近在学习一个统计学的课程，其中涉及到几个统计悖论，笔者感觉很有意思，特总结一波和大家进行分享~1 友谊悖论（Friendship Paradox）1.1 文字版一个人朋友的数量往往比他朋友的朋友数量要少！比如上图中每个节点代表一个人物，横线表示两者是朋友关系，故各自朋友的数量为：A：1B：3

Python | KS检验以及其余非参数检验的实现1 什么是KS检验2 KS检验分类？3 KS检验的Python实现3.1 检验指定的数列是否服从正态分布3.2 检验指定的两个数列是否服从相同分布4 其余的非参数检验4.1 Wilcoxon符号秩检验（t检验的非参数版本）4.2 Kruskal-Wallis H检验（方差分析的非参数版本）4.3 Mann-Whitney秩检验5 参考1 什么是KS检验定义：检验一个分布f(x)与理论分布g(x)【比如正态分布】是否一致，或两个观测值分布是否有显著差异的检

Python | Bootstrap采样实现1 什么是Bootstrap采样2 Bootstrap步骤3 为什么要进行Bootstrap采样4 采样的Python实现4.1 验证样本男女比例是否和总体一致4.2 模拟boostrap5 参考1 什么是Bootstrap采样先来看看维基百科的定义：即Bootstrap的定义是利用有限的样本经由多次重复抽样，建立起充足的样本，在机器学习中解决了样本不足的问题。Bootstrap是非参数统计方法，其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计

中心极限定理的理解1 背景2 Python模拟中心极限定理2.1 生成总体数据2.2 可视化2.3 抽一组看看2.4 抽很多组看看3 应用3.1 应用1：对于总体的估计3.2 应用2：多场景下统计量的近似使用4 中心极限定理可视化5 参考1 背景统计学上有一个重要的理论，就是中心极限定理，它的定义如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-514qxnIY-1603356526721)(attachment:image.png)]下面我们希望直观上来去理解下中

iv值计算（含qcut细节）1 背景2 含有重复的数据2.1 数据准备2.2 等频分组2.3 等频分组-加上去掉重复的值3 不含有重复的数据3.1 数据准备3.2 等频分组3.3 等频分组-加上去掉重复值4 iv计算4.1 读入数据4.2 iv值计算4.3 结果分析1 背景在计算woe以及相关的iv值的时候，需要首先对数据进行分箱，分箱一般采用qcut，即等频分组。下面希望验证qcut（等频分组）-相同的值会在一组，即如果一组数据一半都是0，这些会被分在一组。同时计算iv值并进行相关分析2 含有重

买卖股票的最佳时机及其变形1 题1：面试题1.1 问题1思路1.2 问题1代码实现1.3 问题2思路1.4 问题2代码实现2 题2：只能完成一笔交易2.1 思路1：暴力解法2.2 思路2：一次遍历3 题3：能完成多笔交易3.1 思路4 参考1 题1：面试题给定一个数字v代表开始有多少钱，一个数组代表股票每天的价格。Q1：请问最多只能买一次、卖一次的情况下，最大化利润是多少？Q2：不限制买卖次数的情况下，利润可以达到多少呢？样例：输入：1000[100,80,120,130,70,60,

Focal Loss原理及实现1 什么是Focal Loss？2 什么场景下用Focal Loss？3 Focal Loss的原理是什么？为什么能解决样本不平衡问题？3.1 交叉熵损失函数binary loss3.2 Focal Loss的改进4 Focal Loss的实现4.1 导入库4.2 切分数据4.3 分训练集和测试集4.4 Focal Loss+Lightgbm5 写在最后6 参考资料1 什么是Focal Loss？最近工作中，Leader让了解一下Focal Loss，尝试解决信贷场景下样本