花花公子

中关村打工仔

python利用eval方法提升dataframe运算性能

eval方法可以直接利用c语言的速度,而不用分配中间数组,不需要中间内存的占用. 如果包含多个步骤,每个步骤都要分配一块内存 import numpy as np import pandas as pd import timeit df = pd.DataFrame({'a': np.r...

2019-06-19 16:47:28

阅读数 21

评论数 0

numpy数据类型

numpy中常见的数据类型如下。在使用的时候依据数据范围选择合适的数据类型,避免占用不必要的内存。 Numpy type C type Description np.int8 int8_t Byte (-128 to 127) np.int16 int16_...

2019-06-19 11:36:22

阅读数 11

评论数 0

numpy copy(无拷贝 浅拷贝、深拷贝)类型说明

numpy copy分为三种,no copy,shallow copy or view,deep copy三种。 1 无拷贝 简单的复制操作不会产生对象的复制操作。 import numpy as np a = np.arange(12) b=a #对象复制,a,b地址一样 b.shape...

2019-06-19 10:52:44

阅读数 11

评论数 0

xgb 切分点选择

XGBoost是串行生成CART树,但是XGBoost在处理特征时可以做到并行处理,XGBoost并行原理体现在最优切分点的选择,假设样本数据共M个特征,对于某一轮CART树的构建过程中,选择最佳切分点算法如下图: 最佳切分点流程图 1. 红色框表示根据每个特征大小对训练数据进行排序,保存为b...

2019-06-18 17:50:34

阅读数 24

评论数 0

目标函数、损失函数、代价函数

损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function) 1损失函数 (一般针对个体) 我们给定 ,这三个函数都会输出一个 ,这个输出的 与真实值 可能是相同的,也可能是不同的,为了表示我们拟...

2019-06-15 21:39:49

阅读数 13

评论数 0

先验概率和后验概率的区别

从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。 假如A代表结果,B代表导致A发生的原因 那么P(Bi)表示先验概率 P(Bi|A)代表后验概率 贝叶斯公式: P(Bi|A)=P(A|Bi)P(Bi)/P(A) ...

2019-06-15 21:17:00

阅读数 51

评论数 0

条件概率公式 全概率公式 贝叶斯概率公式对比

1 条件概率公式: P(A|B)代表事件B发生的情况下A发生的概率。 P(A|B)=P(AB)/P(B) 2 全概率公式 A代表结果,B代表原因。导致A发生的原因B可以细化为B1、B2......Bn 。其中B1----Bn事件互斥,不可能同时出现。 P(A)=P(AB1)+P(A...

2019-06-15 21:05:17

阅读数 15

评论数 0

置信区间计算

而区间估计又称为置信区间估计,要得到一个置信区间需要样本统计量(比如均值)和从数据中计算出方差,中心极限定理告诉我们均值会接近一个高斯分布,我们可以用标准差计算出真实期望落在选定区间的概率,例如,以均值μ^为中心的概率为0.95的区域为(基于高斯分布): 0.95是置信水平,0.05是显著性...

2019-06-14 13:18:58

阅读数 80

评论数 0

显著性水平 p值 z值

1 显著性水平 显著性水平是估计总体参数落在某一区间内,可能犯错误的概率,用α表示。 α表示原假设为真时,拒绝原假设的概率。 1-α 为置信度或置信水平,其表明了区间估计的可靠性 。 2 P值 P值代表,在假设原假设(HO)正确时,出现现状或更差的情况的概率. 设置一个想要推翻的结论的...

2019-06-14 11:38:03

阅读数 154

评论数 0

威尔逊区间法

1927年,美国数学家 Edwin Bidwell Wilson提出了一个修正公式,被称为"威尔逊区间",地解决了小样本的准确性问题。 在上面的公式中,表示样本的"赞成票比例",n表示样本的大小,表示对应某个置信水平的z统计量,这是一个常数,可以通过查...

2019-06-13 21:55:44

阅读数 20

评论数 0

lightgbm 使用示例

x_train, x_test, y_train, y_test = train_test_split(feature_df, label_df, test_size=0.33, random_state=42) train_data = lgb.Dataset(data=x_train,la...

2019-06-12 13:02:47

阅读数 34

评论数 0

梯度下降法和牛顿法的总结与比较

机器学习的本质是建立优化模型,通过优化方法,不断迭代参数向量,找到使目标函数最优的参数向量。最终建立模型 通常用到的优化方法:梯度下降方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。 一、梯度下降法   0、梯度下降的思想 ·    通过搜索方向和步长来对参数进行更新。其中搜索...

2019-06-11 21:17:53

阅读数 58

评论数 0

XGBoost与GBDT(一)-几种最优化方法对比

前言 今天翻了下gayhub,随手点进去了follow的一个大佬wepe,看到一个非常和谐的repo名:tgboost.看完readme发现了作者的一个pptGBDT算法原理与系统设计简介,平时工作接触的比较少,对于这俩算法一直都是处于一知半解的状态.这回从头复习了一波相关的内容,写两篇记录下来...

2019-06-11 21:10:32

阅读数 77

评论数 0

cart 分类回归树分类和回归节点split原理

classification and regression trees 简称分类回归树,可以用来处理分类或者回归问题。 分类树的节点split依据选择gini系数最小的分裂点,gini系数越小不确定性越小。 回归树的节点分类采用最小方差作为分裂点的依据。 对特征A,计算所有属性值的切分结果S...

2019-06-11 13:12:18

阅读数 87

评论数 0

cart树的代码示例参考机器学习实战

from numpy import * import numpy as np import pickle import matplotlib.pyplot as plt import sys from matplotlib.font_manager import FontProperties #...

2019-06-11 13:02:30

阅读数 19

评论数 0

随机森林总结

1 随机有放回抽样训练数据,每棵树的训练集都可能包含重复样本, 2 随机从特征中选择选择几个特征 3 有放回抽样的意义:如果不是有放回抽样,会导致训练出来的每棵树之间差异很大,而随机森林是采用投票的方式获得结果,如果树之间的差异很大,那么无异于盲人摸象。求同存异是随机森林的训练思想。 4 两...

2019-06-10 19:45:14

阅读数 20

评论数 0

Python内存池管理与缓冲池设计

Python是一门开发效率很高的语言,而且其既下里巴人,又阳春白雪。也就是说这门语言只要稍加学习就可以上手开发,而深入探究也会发现Python有很多高深的东西。最近读了《Python源码剖析》,收获良多,今天就把Python的内存管理整理一番。 本文的组织如下: 第一部分:整理Python的内存...

2019-06-02 12:59:32

阅读数 24

评论数 0

先验分布/后验分布/似然估计

image.png 先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然似然函数,最大似然估计 最大似然估计和最大后验概率估计的区别 相信读完上文,MLE和MAP的区别应该是很清楚的了。MAP就是多个作为因子的先验概率P(θ)。或者,也可以反过来,认为MLE是把先验概率P(θ)认为等...

2019-05-16 19:57:00

阅读数 8

评论数 0

PCA学习与应用

一、PCA简介 1. 相关背景 主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》...

2019-05-15 16:12:00

阅读数 11

评论数 0

最小二乘法矩阵形式推导

2019-05-10 14:46:35

阅读数 25

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭