2018年03月_JackkwiN

原创【Python数据分析之pandas06】层次化索引

层次化索引 Pandas层次化索引将对象的索引分层，以便调用。s1 = pd.Series(range(1,11),index=[['a','a','a','b','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,2,3]])s1'''a 1 1 2 2 3 3b 1 4 2 5 ...

2018-03-19 17:20:48 544

原创【Python数据分析之pandas05】处理缺失化数据

首先，Python用.isnull的方法判断对象元素是否为NaN(缺失值)。s1 = pd.Series(['one','two',np.nan,'three'])s1.isnull()'''0 False1 False2 True3 Falsedtype: bool''' 之前提到了一种填充缺失值的方法是重新索引时修改其method属性，这...

2018-03-18 13:38:34 285

原创【Python数据分析之pandas04】数学方法

统计与汇总 pandas对象的统计基本与numpy的数学方法差不多，不过pandas数组都是基于没有缺失数据的情况下构建的，即当对象中存在NAN值的时候，NaN值将会被自动排除，除非整个切片或对象都是NaN。 pandas对象的sum方法：data = pd.DataFrame([[1.4,np.nan],[7.1,-4.5],[np.nan,np.nan],[0.75,-1.3]])...

2018-03-17 14:55:17 401

原创重归算法

既然决定在这条路上走过去，就不得不面对这座大山。今后尽量保证每天都做题，遇到不同类型的题目就放上来，也为自己今后考研面试或者工作面试提供些许帮助。第一天，上手一个简单的。给定一个序列，求其最长连续子序列的和。#include <stdio.h>#include <string.h>#include<iostream>using na...

2018-03-17 11:05:19 196

原创【Python数据分析之pandas03】数据结构的基本功能--2

算数运算和数据对齐 pandas一个强大的功能是，它可以对不同索引的对象进行算数运算。s1 = pd.Series([1,2,3,4],index=['a','b','c','d'])s1'''a 1b 2c 3d 4dtype: int64'''s2 = pd.Series([4,78,32,89,61],index=['a','b','e',...

2018-03-16 18:04:50 229

原创【Python数据分析之pandas02】数据结构的基本功能--1

重新索引 Series和DataFrame在创建时可以对其index属性进行修改(DataFrame中index修改行属性)。创建后需要对index修改需要用到reindex方法。s1 = pd.Series([1,2,3],index=['c','a','b'])s1.reindex(['a','b','c'])'''结果：a 2b 3c 1dtype: ...

2018-03-15 19:30:46 225 1

原创【Python数据分析之pandas01】两个常用的数据结构

Series - series可以看做是一个定长的有序字典，与一维数组形式相同，区别是series的索引可以是任意数据类型。 - series本身拥有一个name属性，它的index也有自己的name属性（这条性质为下文中series传入DataFrame提供基础）。 - 传入：可以传入一维数组或字典。传入时，可以修改其索引。#导入数组a = np.array([1,2,3,4...

2018-03-15 08:48:53 262

原创【Python数据分析之Numpy03】线性代数

线性代数相关函数一下所列的函数都包含在numpy.linalg函数里 diag:返回对角线元素或将一维数组转化为方阵。np.diag([1,2,3,4,5])'''array([[1, 0, 0, 0, 0], [0, 2, 0, 0, 0], [0, 0, 3, 0, 0], [0, 0, 0, 4, 0], [0, 0,...

2018-03-12 19:02:10 153

原创【Python数据分析之Numpy02】利用数据进行数据处理

矢量化计算概念是：用数组表达式代替循环。例：计算点(x,y)到原点的长度。首先介绍一个函数，np.meshgrid(*x,*y)。这个函数接收两个数组*x,*y，对于这两个数组上的所有元素，进行一一对应，生成两个矩阵，两个矩阵相同位置上的元素就是点的x和y坐标。points = np.arange(-5,5,0.01,dtype=np.float64)xs,ys = np.mes...

2018-03-11 18:12:08 204

转载计算机专业要不要考研

这个问题困扰了我很久很久，所幸看到这篇文章。不能说茅塞顿开，但总算不至于在黑暗中苦苦摸索。特此转载，与和我有相同困扰的大学生们分享。你说：“他们都有很强的开发能力,只是不太喜欢读书,也只是希望混个学历对今后在岗位上晋升有好处”，我可以向你保证，你所说的人绝对不是开发能力很强的人。因为，1）高手不可能不喜欢读书；2）高手不可能想去混一个学历；3）高手不可能认为晋升是因为学历的原因。 ...

2018-03-11 16:37:50 6000

原创【Python数据分析工具之Numpy01】数组创建ndarray

创建数组 np.array(*list):以list创建一个数组list1 = [1,2,3,4,5]arr1 = np.array(list1)print(arr1)//输出结果：[1 2 3 4 5] np.empty(*shape):创建一个没有任何具体值的数组（但是数组里的值并不是0，而是一些未初始化的垃圾值）arr1 = np.empty((3,3))arr1''...

2018-03-09 21:09:34 284

原创【机器学习数学基础之概率论与统计05】多元随机向量及其分布

几种常见的分布联合分布联合分布很难描述清楚，智能给出概念。但是在相互独立的随机变量中，它们联合分布是它们各自分布的乘积。对于连续型随机变量，加上积分就可以了。边缘分布在二维情况下的直观解释：条件分布二维情况下的条件分布：实际上，贝叶斯公式可以由条件概率和全概率公式得出。由二维推广到多维的条件概率的链规则：贝叶...

2018-03-08 11:02:19 994

原创【机器学习数学基础之概率论与统计04】非参数估计

非参数估计指不知道分布类型，对样本进行模型估计。一般只用在一维和二维。直方图估计具体概念详见课件：直方图与初高中所理解的直方图没什么不同，直方图估计...

2018-03-07 20:52:52 373

原创【机器学习数学基础之概率论与统计03】抽样分布

两个概念独立同分布样本：当X1,X2,...,Xn相互独立且具有相同的分布函数F的时候，称X1,X2,...,Xn为独立同分布样本，记为X1,X2,...,Xn ~ F. 抽样分布：X1,X2,...,Xn为独立同分布样本(IID)，其均值和方差为μ和σ²。那么对于这些样本有样本均值，即求平均值。因为每个Xi都是随机变量，所以样本均值也是随机变量，对样本均值进行分布描述，那么该分布...

2018-03-07 16:10:17 1342

原创【机器学习--线性回归01】线性回归模型

等了很久，终于进入机器学习环节了。开始前只想说一句话：数学一定一定要学好！！！没有学完概率的我今天开头真的是看的昏昏欲睡，就算是现在也只能大概理解其原理，等抓紧时间学完概率，再来好好咀嚼一下这部分内容。最后给自己一碗鸡汤：从菜鸟走向大神，这是道路。目标函数对于线性回归模型，它的目标函数一般包括两部分：损失函数和正则项。在回归...

2018-03-06 23:01:09 452

原创【机器学习数学基础之概率论02】随机变量的分布函数及单值

连续性随机变量的分布函数分布函数（CDF）：F(x)=P(X≤x) 概率密度（pdf）：p(a<x≤b)=∫(a,b)p(x)dx 两者关系：p(x)=F'(x) *连续性随机变量在某一点的概率均为0 *对于连续性随机变量的概率密度，可以简单理解为概率离散型随机变量的分布函数分布函数（CDF）：F(x)=P(X≤x) 概率质量...

2018-03-06 08:38:20 465

原创【机器学习数学基础之概率论01】贝叶斯公式

概率的三个公理 1.事件A的概率是一个非负实数：P(A)≥0。 2.合法命题（必然事件）的概率为1。 3.对两两不相交（互斥）事件，有。条件概率联合概率：P(A,B)=P(A|B)*P(B) 条件概率：P(A|B)=P(A,B)/P(B) *给定任意B，若P(B)>0，则P(·|B)也是一个概率，即满足概率的三个概率公理： 1...

2018-03-05 21:22:43 303

原创【机器学习数学基础之矩阵03】线性回归

线性回归（最小二乘法）一维模型：对于直角坐标系中一系列样本点（x,y），找到合适的a,b，使得f(x)=ax+b成立，并且f(x)～=y。实际上，线性回归的过程就是寻找a,b的过程，而判定最优解的方法就是寻找误差最小值，即：。arg min是机器学习术语，表示让arg成立的min的值。根据矩阵求导相关知识求出一维模型的解：。多维模型：对于一系列样本点（x，y）, 找到...

2018-03-05 08:53:44 347

原创【机器学习数学基础之矩阵02】矩阵求导

多元函数导数对于n维函数，y本身没有导数，但其对于每一个分量都有偏导，于是有如下定义：梯度向量：，其性质类似与一元函数的一阶导。 Hessian矩阵： *值得注意的是，因为偏导顺序不影响结果，所以Hessian矩阵是一个实对称矩阵。最速下降法最初看这个内容的时候迷迷糊糊的，但实际上很简单的一个东西。最速下降法在一元函数中是指沿着...

2018-03-04 22:29:29 3003

SalvatioN