花木兰

ML sklearn cheat sheet

库sklearn: import sklearn.preprocessingpyspark: import.ml.featureBinarizer 根据阈值进行二值化处理小于等于阈值的设置为0大于阈值的设置为1sklear.preprocessing.Binarizer说明：sklearn 的Binarizer 只能处理2D数组demo：x=np.array([[1,2...

np_utils.to_categorical()Converts a class vector (integers) to binary class matrix.将向量转换为二进制的矩阵to_categorical(y, num_classes=None, dtype=‘float32’)demo：from keras.utils import np_utilsb = [0, 1...

参考Logistics Regression逻辑回归和线性回归比较逻辑回归分类二分类逻辑回归多分类逻辑回归

Embeddingkeras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', embeddings_regularizer=None, activity_regularizer=None, embeddings_constraint=None, mask_zero=False, input_len...

label one-hot编码发现from keras.utils.np_utils import to_categorical 的to_categorical函数和pandas.get_dummies()实现的功能相同。都是对目标对象 one-hot编码to_categorical(y, num_classes=None, dtype=‘float32’)def get_dummies...

参考How to Use the TimeseriesGenerator for Time Series Forecasting in Keras时间序列监督学习时间序列的问题如何应用TimeseriesGenratorKeras 提供了TimeseriesGenrator 时间序列生成器，它可以用来自动把单序列或者多序列集转换为监督学习问题。定义一个时间序列生成器你可以创建一个Se...

作用评估函数用于评估当前训练模型的性能。当模型编译后，评价函数应该作为metrics的参数输入from keras import metricsmodel.compile(loss='mean_squared_error', optimizer='sgd', metrics=[metrics.mae, metrics.categori...

损失函数的使用作用损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一from keras import lossesmodel.compile(loss=losses.mean_squared_error, optimizer='sgd')你可以传递一个现有的损失函数名，或者一个 TensorFlow/Theano 符号函数。 该符号函数为每个数据点返回一个标量，有...

优化器深度学习的目的是最小化损失，在损失函数定义好的情况下，使用优化器进行求解最小损失。损失函数是用来计算测试集中目标Yd 额真实值和预测值的偏差程度。梯度下降法梯度下降：学习训练的模型参数为w，损失函数为J(w)，则损失函数关于模型参数的偏导数即相关梯度为ΔJ(w)，学习率为η，梯度下降法更新参数公式：w=w−η×ΔJ(w)，模型参数的调整沿着梯度方向不断减小的方向最小化损失函数。批...

train/dev/test sets训练集、开发集和测试集bias/variance偏差和方差高偏差（high bias）：欠拟合 underfitting高方差 high variance：过拟合 overfittingtrain set error1%Dev set error11%high varianceBasic Recipe ...

Tokenizer(inputCol=None,outputCol=None)分词器，把字符串转为小写，并以空格分词eg:df=spark.createDataFrame([('''Machine learning can be applied to a wide variety of data types, such as vectors, text, images, an...

参考：[1]林大贵.Python+Spark2.0+Hadoop机器学习与大数据实战[M].博硕文化股份有限公司名词说明DataFrame:Sparl ML机器学习API处理的数据格式是DF，我们必须使用DF存储数据、处理数据、测试数据，最后预测结果也是DF。我们可以使用SQLContext读取文本文件创建DF或将RDD转为DF，也可以使用Spark SQL来操作。DF可以存储不同的数据类型...

朴素贝叶斯（Naive Bayes）是基于贝叶斯定理与特征条件假设的分类方法。属于监督学习的生产模型。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯实现简单，学习与预测的效率都很高，是一种常用的方法特征条件独立假设这一部分开始朴素贝叶斯的理论推导，从中你会深刻地理解什么是特征条件独...

支持向量机（Support Vector Machine，SVM），监督学习，二元分类的广义线性分类分类线性可分支持向量机，又称硬间隔支持向量机（当训练数据线性可分的时候，通过硬间隔最大化 hard margin maximization学习线性的分类器）线性支持向量机，又称软间隔支持向量机（当训练数据近似线性可分的时候，通过软间隔最大化 soft margin maximization学...

贝叶斯公式贝叶斯定理由英国数学家贝叶斯发展，用来描述两个条件概率之间的关系，比如 P(A∣B)\mathrm{P}(\mathrm{A} | \mathrm{B})P(A∣B) 和 P(B∣A)\mathrm{P}(\mathrm{B} | \mathrm{A})P(B∣A))。按照乘法法则，可以立刻导出：P(A∩B)=P(A)∗P(B∣A)=P(B)∗P(A∣B)P(A \cap B)=P(...