魏晋小子的博客

原创 pandas 中的 tolist() 和 to_list()

介绍了pandas中的tolist和to_list方法，顺便介绍了numpy中的tolist方法

原创 NumPy学习4之数组重塑

在使用NumPy的数组时，经常会遇到改变数组形状，对数组进行重塑的需求，因此在此进行学习整理。1. reshapendarray.reshape(newshape, order='C')numpy.reshape(a, newshape, order='C')参数a: 要重新整形的数组。newshape: int或int的元组order: 'C'、'F'、'A'，可选1.1 a.reshape(newshape) 与 np.reshape(a, newshape) 的区别NumP.

原创 AdaBoost学习-算法步骤

Boosting称为提升，是集成学习中的一种重要方法， 该方法能够将多个弱学习器构造成为强学习器，达到提升预测精度的目的，这里所说的弱学习器一般指其预测精度只比随机猜测略高的学习器，而精度较高的强学习器构造过程相对较复杂，使用Boosting方法可以很好地实现“三个臭皮匠顶个诸葛亮”的战略目标。Yoav Freund和Robert Schapire在1995年提出的AdaBoost算法当属其中最...

原创 PCA学习-算法步骤

原创 win10+python3.7环境下安装graphviz与配置

学习决策树的时候，可视化决策树需要用到graphviz包，安装过程中也是各种坑，网上也是各种说法，记录一下自己的安装过程，以便后续查看。1 graphviz是什么graphviz本身是一个绘图工具，也就是一个普通的软件。这是官网而我们主要是想在python中调用这个软件，利用python代码生成dot脚本，之后使用graphviz软件解析，生成一张图片，放心这个过程在python中也就是两...

转载 查找 Linux 发行版名称、版本和内核详细信息

本文转自Linux中国本指南介绍了如何查找 Linux 发行版名称、版本和内核详细信息。如果你的 Linux 系统有 GUI 界面，那么你可以从系统设置中轻松找到这些信息。但在命令行模式下，初学者很难找到这些详情。没有问题！我这里给出了一些命令行方法来查找 Linux 系统信息。可能有很多，但这些方法适用于大多数 Linux 发行版。1、查找 Linux 发行版名称、版本有很多方法可以找出 ...

转载 使用Cython将python文件打包成.so文件

python作为一门强大的脚本语言，优势自然不必说，目前中低频的量化投资基本都是使用python作为research和production作为语言。但是，当我们的模型较复杂，运算量较大的时候，python的短板就会出现，就是运算速度慢。当然，解决这一问题有很多方法，比如笔者先前提到的pypy的jit技术，但是抛开稳定性不提，使用pypy有很多限制，而且不是那么工程化。所以，从本文开始，笔者向大家...

原创 交叉熵、相对熵(KL散度)、JS散度和Wasserstein距离(推土机距离)

1. 信息量任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是他们承载的信息量会有所不同。信息量是一个与事件发生概率相关的概念，事件发生的概率越小，其信息量越大。定义：假设 X 是一个离散型变量，其取值集合为 \chi ，概率分布函数为：p(x)=Pr(X=x), x\in\chi则事件$X=x_0$ 的信息量为：I(x_0)=-log(p(x_0))2...

原创 决策树学习1-信息增益划分实例计算

1. 算法流程及说明首先给出决策树计算流程，该图来自于周志华老师的《机器学习》(经典教材)书中提到，有三种情形会导致递归返回：-1 当前节点包含的样本属于同一类别；-2 当前属性集为空或者所有样本在所有属性上的取值相同-3 当前节点包含的样本集合为空并且强调了：-第2种情形将该节点中含样本最多的类别作为该节点的类别-第3种情形将父节点中含样本最多的类别作为该节点的类别个人认为这...

原创 Chrome插件Vimium快捷键

Vimium是基于 Vim 按键操作方式的Chrome浏览器插件，安装Vimium之后，可以让你几乎全程使用键盘来操作浏览器，解放鼠标，提高效率！首先贴上Vimium帮助图示：1. 浏览当前页面?所有可用键的列表显示帮助对话框h向左滚动j向下滚动k向上滚动l向右滚动gg滚动到页面顶部G滚动到页面底部d向下滚动半页...

原创 NumPy学习3之数组切片与索引

       当我们拿到一个numpy数组后，有时候我们并不是对整个数组的元素感兴趣，可能只想针对数组的某一个元素或者某一部分元素进行某些操作，而选中数组中的某个数据子集的正式切片和索引的意义所在。        切片的在于取得数组中某一“矩形”子集的数据，...

原创 NumPy学习2之数组的基本属性

1. numpy数组的数据类型在numpy中，数组主要是用来表示数据，类型由int和float，除此之外还有表示逻辑的bool类型、表示复数的complex类型和表示字符串的string_类型等。1.1 数据类型当创建一个numpy数组时，如果没有指定元素的数据类型，numpy会根据当前数据和系统自动指定数组的数据类型，可以通过数组的dtype属性查询当前数组的数据类型。arr1 = np...

原创 NumPy学习1之生成numpy数组

1. numpy 数组numpy研究的对象就是n维数组，在numpy中，这些数组都属于ndarray类型，意为n-dim数组。由于numpy的高效性，目前已经属于python非标准模块中最重要的模块之一，下面给出一个例子来测试numpy的计算效率。1.1 数组的创建利用python中的序列类型生成numpy数组利用numpy中自带的数组生成方法生成numpy数组涉及到的方法主要...

原创 pandas学习1--pandas数据结构之Series简介

本文是阅读《利用Python进行数据分析(第2版)》一书的学习笔记import pandas as pdimport numpy as np1. 创建 Series 对象# Series 是一种类似一维数组的对象# 数据标签(索引) + 数据 # 个人感觉有点类似与 python 中的 dict# 如果不指定索引值，默认为 0 - length-1obj = pd.Series...

原创 numpy方法中的axis参数理解

1.对于numpy中的二维数组In[4]中，np.sum(a)没有指定axis参数值，此时表示将a平铺成为一个一维向量求取所有元素的和In[5]中，np.sum(a, axis=0) 指定axis=0表示按照列来操作，最后得到的结果是每一列的和In[6]中，np.sum(a, axis=1) 指定axis=1表示按照行来操作，最后得到的结果是每一行的和2.对于numpy中的三维数组此...

原创 Python-列表List基础

列表：[]内置数据类型，有序集合，可以存储不同类型数据，但一般存储同一类型1.定义使用[]定义一个列表name_list = ["张三", "李四", "王五"]2.取值使用[]取出列表中的元素in-int类型，元素索引out-对应元素的类型，元素内容name_list[0] , name_list[1]

原创 win10+python3.6环境下的sklearn安装

首次接触sklearn，在win10环境下安装过程中过程较为曲折，故在此处记下以备不时之需。1.直接安装：失败直接使用pip指令或者在pycharm中安装均告失败2.安装包下载+pip安装（1）登录网站，下载所需要的安装包（2）在网站中依次找到适合当前机器环境的安装sklearn所需要的依赖包numpy+mkl（该下载项耗费时间最长）numpy‑1.15.4+mkl‑cp36‑cp...