2019年04月_No_Game_No_Life_

12月 11月 10月 09月 07月 05月 04月 03月 02月 01月

原创 One PUNCH Man——朴素贝叶斯

文章目录朴素贝叶斯算法介绍朴素贝叶斯定义朴素贝叶斯算法介绍朴素贝叶斯，之所以称为朴素，是因为其中引入了几个假设（不用担心，下文会提及）。而正因为这几个假设的引入，使得模型简单易理解，同时如果训练得当，往往能收获不错的分类效果，因此这个系列以naive bayes开头和大家见面。因为朴素贝叶斯是贝叶斯决策理论的一部分，所以我们先快速了解一下贝叶斯决策理论。假设有一个数据集，由两类组成（简化问...

2019-04-29 17:04:02 1171

原创 One PUNCH Man——决策树和随机森林

文章目录从LR到决策树决策树介绍“树”的成长过程这颗“树”长到什么时候停“树”怎么长ID3算法C4.5算法CART算法从LR到决策树之前的文章，我们介绍了LR逻辑回归。总结一下LR模型的优缺点：优点适合需要得到一个分类概率的场景。实现效率较高。很好处理线性特征。缺点当特征空间很大时，逻辑回归的性能不是很好。不能很好地处理大量多类特征。对于非线性特征，需要进行转换。决策...

2019-04-29 11:03:07 1287

原创 One PUNCH Man——LR逻辑回归

文章目录引言LR介绍引言LR算法可能不像随机森林、SVM、神经网络、GBDT等分类算法那么复杂那么高深的样子，可是绝对不能小看这个算法，因为它有几个优点是那几个算法无法达到的。一是逻辑回归的算法已经比较成熟，预测较为准确；二是模型求出的系数易于理解，便于解释，不属于黑盒模型，尤其在银行业，80%的预测是使用逻辑回归；三是结果是概率值，可以做ranking model；四是训练快。当然它也有...

2019-04-29 10:24:41 1362

文章目录显著性检验简介t检验单侧检验与双侧检验（区别在于是否知道标准）确定P值和做出推断结论T检验例子栗子no.1栗子No.2F检验判断一个变量是否显著，我们一般采用T检验和F检验的方式。显著性检验简介假设检验也叫显著性检验，是以小概率反证法的逻辑推理，判断假设是否成立的统计方法，它首先假设样本对应的总体参数（或分布）与某个已知总体参数（或分布）相同，然后根据统计量的分布规律来分析样本数据，...

2019-04-25 15:24:27 7760

原创 One PUNCH Man——线性回归算法

文章目录回归分析的目的线性回归步骤一元线性回归操作和解释回归分析的目的回归分析的目的大致可分为两种：第一，预测。预测目标变量，求解目标变量y和说明变量(x1，x2，…)的方程。y=a0+b1x1+b2x2+…+bkxk+误差y=a_{0}+b_1x_1+b_2x_2+…+b_kx_k+误差y=a0+b1x1+b2x2+…+bkxk+误差把上述方程叫做(多元)回归方程或者(多...

2019-04-25 14:50:00 1376

原创 One PUNCH Man——激活函数和梯度消失/爆炸

文章目录什么是激活函数激活函数介绍首先推荐一个写公式的网站：https://www.codecogs.com/latex/eqneditor.php什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是...

2019-04-25 11:18:51 2023

原创 One PUNCH Man——交替最小二乘推荐算法

文章目录交替最小二乘推荐算法ALS算法的应用交替最小二乘推荐算法ALS(Alternating Least Square)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。如下图所示，u表示用户，v表示商品，用户给商品打分，但是并不是每一个用户都会给每一种商品打分。比如用户u6就没有给商品v3打分，需要我们推断出来，这就是机器学习的任务。注意：虽然这个表在上图看起来...

2019-04-24 14:38:26 1681

原创 Spark一路火花带闪电——Spark踩坑记

文章目录踩坑记：版本号一定要正确！！！JDK一定要匹配。使用idea打包maven项目踩坑记：版本号一定要正确！！！JDK一定要匹配。我这里使用的是scala 2.11.12 和spark 2.4.1（不知道自己版本号的同学可以使用spark-shell，查看自己的版本号）该版本号下，一定要使用jdk1.8，如果使用jdk1.7会出现低版本错误，使用jdk11或者jdk12会有高版本错误。...

2019-04-24 11:08:43 2101

原创 Azkaban的囚徒——Azkaban运行模式和流

文章目录Azkaban运行模式Azkaban运行Azkaban 流Azkaban运行模式在3.x版本里，提供了3种运行模式the stand alone “solo-server” mode standalone模式the heavier weight two server mode 两个server的模式distributed multiple-executor mode 分布式(多...

2019-04-22 15:57:17 2729 1

原创 Azkaban的囚徒——Azkaban安装和介绍

文章目录Azkaban简介Azkaban安装Azkaban简介为什么需要工作流调度器？1、一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等2、各任务单元之间存在时间先后及前后依赖关系3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行简单的任务调度：直接使用 linux 的 cr...

2019-04-22 14:53:18 2216

原创 Spark一路火花带闪电——Accumulator & Broadcast

文章目录Accumulator累加器Accumulator简介陷阱及解决办法Broadcast广播变量Accumulator累加器Accumulator简介Accumulator是spark提供的累加器。在Spark中如果想在Task计算的时候统计某些事件的数量，使用filter/reduce也可以，但是使用累加器是一种更方便的方式，累加器一个比较经典的应用场景是用来在Spark Strea...

2019-04-15 10:47:20 2143

原创 Spark一路火花带闪电——Pair RDD常用算子(参数及其返回值)探究

文章目录转化算子未完待续转化算子以键值对集合{(1,2),(3,4),(3,6)}为例RDD[U,T]注意下面的函数，对应U和TreduceByKey(f:(T,T) => T):RDD[T]合并具有相同值的键rdd.reduceByKey((x,y)=>x+y)>>(1,2)(3,10)groupByKey():RDD[Tuple（T, Iter...

2019-04-04 17:24:25 2200

原创 Spark一路火花带闪电——Spark常用算子(参数及其返回值)探究

文章目录转化算子行动算子转化算子以数据Seq(1,2,3,3)为例子map(f:T => U):RDD[U]映射：将函数应用于RDD内的每个元素，将其返回值构成新的RDDrdd.map(_+1)>> 2,3,4,4flatMap(f:T => U):RDD[U]映射：将函数应用于RDD内的每个元素，将返回的迭代器的所有内容构成新的RDD，通常用来...

2019-04-04 16:04:12 2533