n不正-CSDN博客

原创 9. K近邻算法 KNN

9. K近邻算法 KNNpdf版本下载：https://pan.baidu.com/s/1i48oAI5html版本下载：https://pan.baidu.com/s/1c1ODJWk KNN算法也是经典的机器学习算法之一。本节对这个算法做一个简单的介绍。1 简介KNN是K-Neighbor Nearest的缩写，顾名思义，就是要寻找到距离最近的k个点。如果是分类问题，将该点分类为这k个

2017-05-13 14:21:47 887

原创 8. 逻辑回归Logistic Regression

8. 逻辑回归Logistic Regressionpdf版本下载：https://pan.baidu.com/s/1i4FajHFhtml版本下载：https://pan.baidu.com/s/1i5kOls5 逻辑回归（Logistic Regression），按照写博客的经典句式，先要吹一波LR是机器学习十大经典算法之一。逻辑回归在本质上也是一种线性回归或者说是广义的线性回归，它可以

2017-05-13 14:21:11 621

原创 7. 主成分分析 PCA

7. 主成分分析 PCApdf版本下载：https://pan.baidu.com/s/1bKDYAahtml版本下载：https://pan.baidu.com/s/1o7H7DsI 主成分分析（Principal Component Analysis）属于非监督学习，是特征降维中最老牌的算法之一，应用十分广泛。特别是在现在深度学习进行特向特征提取的过程中，往往由于原始特征过于复杂需要进行

2017-05-10 16:25:02 580

原创 6. 矩阵SVD分解

6. 矩阵SVD分解pdf版本下载：https://pan.baidu.com/s/1o82ULa6html版本下载：https://pan.baidu.com/s/1nvshyTb 矩阵的SVD（Singular Value Decomposition）分解是矩阵当中的一种重要分解，具有广泛应用。比如说进行数据降维，特征提取，特别是用于图像的压缩。在线性代数里面似乎很少讲到矩阵的奇异值分解

2017-05-10 16:24:23 710

原创 5. 矩阵的LU分解、QR分解

5. 矩阵的LU分解、QR分解pdf版本下载：https://pan.baidu.com/s/1eRZySbKhtml版本下载：https://pan.baidu.com/s/1geVsYvL 这一部分主要回顾一下矩阵里面的两种重要分解，LU分解和QR分解。LU分解的主要用途包括求解矩阵的逆，求解线性方程组等。与QR分解最相关的就是最小二乘法了。还用于数值分析中，例如计算矩阵特征值。1 LU

2017-05-10 16:23:38 7571

原创 3. 线性回归 Linear Regression

3. 线性回归 Linear Regressionpdf版本下载地址：https://pan.baidu.com/s/1geJNGiBhtml版本下载地址：https://pan.baidu.com/s/1nu6Kn4d 这一节介绍线性回归LinearRegression的原理以及它的推导过程。简单的从数学原理角度分析一下，并不是统计学角度。因此在一些公式里面会忽略误差项。另外对于统计学里面

2017-05-09 09:24:59 629

原创 4. Lasso回归和岭（Ridge）回归

4. Lasso回归和岭（Ridge）回归pdf版本下载地址：https://pan.baidu.com/s/1i5JtT9jhtml版本下载地址：https://pan.baidu.com/s/1cMqblc LASSO 由1996年 Robert Tibshirani 首次提出，全称 Least absolute shrinkage and selection operator

2017-05-09 08:06:53 5152

原创 2. 基本概念

2. 基本概念pdf版本下载地址：https://pan.baidu.com/s/1c0Bszshtml版本下载地址：https://pan.baidu.com/s/1geCwjir 这一部分对机器学习做一个简单的梳理，包括一些基本的术语、假设空间等等概念。1 基本术语很多人会问，学习机器学习有什么用？先来看看机器学习是干什么的。它所研究的主要内容，是通过一些给定的数据，然后基于某个学习

2017-05-09 08:04:55 376

原创 1. 介绍 Intrdouction

1. 介绍 Intrdouctionpdf版本下载地址： 2015年开始接触机器学习，目前不到两年，读过一些文献，也参加过比赛，看到一些学术大牛的报告，也听过了工业界领军人物的演讲。刚开始看到knn会忍不住赞叹，现在学习深度学习依然敬佩不已。一年多来没有在这个领域有所成就，但是也断断续续看了不少，准备把这些内容做一个归纳整合，希望在这个过程中再得到一些提升。1 什么是机器学习？经常能听到别

2017-05-09 07:59:07 490

原创 10 结构类型

10 结构类型1 枚举常量符号化：提高程序可读性enum color{red, yellow, green};枚举是用户定义的数据类型，关键字enum。但是不好用！枚举类型名字并不真的使用，要用的是大括号里的名字，通常是常量符号，类型是int，值一次从0到n。作为函数参数时需要：void f(enum color c);离散：enum color{red = 1, yellow, gree

2017-05-01 14:57:39 283

原创 9 指针与字符串2

9 指针与字符串21 指针使用指针的应用：1、函数返回多个值，某些值只能通过指针返回。传入的参数实际上是需要保存带回的结果的变量；2、函数返回运算的状态，结果通过指针返回，常用的套路是让函数返回特殊的不属于有效范围内的值表示出错，例如0、-1等。但是任何数值都是有效时，必须分开返回。交换两个变量：void swap(int *pa, int *pb){ int t = *pa;

2017-04-24 13:36:27 235

最大子列和问题2Given a sequence of K integers {N1,N2…,NK}\{ N_1,N_2…,N_K\}. A continuous subsequence is defined to be{Ni,Ni+1,…Nj}\{ N_i,N_{i+1},…N_j\}，where 1≤i≤j≤K1 \leq i \leq j \leq K. The Maximum Subsequ

2017-04-18 21:22:25 300

原创 1 最大子列和问题

最大子列和问题给定K正个整数组成的序列{N1,N2…,NK}\{ N_1,N_2…,N_K\}，“连续子列”被定义为{Ni,Ni+1,…Nj}\{ N_i,N_{i+1},…N_j\}，其中 1≤i≤j≤K1 \leq i \leq j \leq K。“最大子列和”则被定义为所有连续子列元素的和中最大者。例如给定序列{ -2, 11, -4, 13, -5, -2 }，其连续子列{ 11, -4,

2017-04-18 20:51:06 480

原创 1 概论

1 概论1 引子数据结构（Data Structure）的定义：计算机中存储、组织数据的方式。通常情况下，精心选择的数据结构可以带来最优效率的算法。数据结构在计算机内部的存储：1、逻辑结构；2、物理存储结构矩阵的抽象数据类型：AM∗N=(aij)A_{M*N} = (a_{ij})，由MxN个三元集<a,i,j><a,i,j>组成ElementType GetEntry(Matrix A,

2017-04-18 20:48:21 459

转载 Linux如何查看CPU温度

作为爱机的主人,咱们得嘘寒问暖是不是?下面介绍Linux下查看CPU温度的方法.CentOS系列: 1.yum install lm_sensors;2.sensors-detect3.sensorsUbuntu系列:1.apt-get install lm-sensors2.sensors-detect3.service kmod start4.sensors注意:这些命令执

2017-04-18 15:45:00 12073

原创正则表达式

正则表达式一、简单的介绍字符串是编程语言当中涉及最多的一种数据类型，C语言在产生早期70年代的时候所做的主要是数值计算，因此在那个年代对字符串操作的函数很少。目前我们数值的string.h就是专门用于字符串操作的标准库，然而里面的函数也不多，功能也不强大。后来产生的一些高级编程语言，例如python就对字符串操作有着强大的支持。正则表达式定义了一个规则用于匹配字符串，而正则表达式本身也是

2017-04-18 15:05:34 443

原创结构化预测（Structered learning）

结构化预测（Structered learning）1 Introductionf:X→Yf:X\rightarrow Y——输入输出不一定是向量应用：语音辨识、翻译、文法剖析、位置监测、总结Unified Framework：Training：F:X∗Y→RF:X*Y \rightarrow RTesting：y~=argmaxy∈YF(x,y)\tilde y = \mathop{arg

2017-04-18 10:32:01 2880

原创 8 指针与字符串

8 指针与字符串sizeof运算符：给出某个类型或变量在内存中占据的字节数，int占4字节，32位；double占8字节，64位运算符&：获取变量的地址，%p可以输出地址；32位架构下，地址4字节，64位架构下，地址8字节。——地址的大小是否与int相同取决于编译器。&不能对没有地址的东西取地址，分配在内存的堆栈，自顶向下分配对于一个数组：&a、a、&a[0]相同，&a[1]在它们之后sc

2017-04-17 19:43:10 232

原创支持向量机（Support Vector Machine）

支持向量机（Support Vector Machine）1 IntroductionSVM = hinge loss + Kernel method Hinge loss：L(f(xn),y^n)=max(0,1−y^nf(x))L(f(x_n), \hat y_n) = max(0, 1-\hat y_nf(x))2 Linear SVMstep 1：f(x)=∑iwixi+b=[wb][

2017-04-17 14:28:56 487

原创迁移学习（Transfer learning）

迁移学习（Transfer learning）1 IntroductionExample：Dog/Cat Classifier现实生活中一直存在迁移学习2 Classificationlabel & label：{(xs,ys),(xt,yt)}\{(x_s,y_s),(x_t,y_t)\}Fine tuning：复制前面几层layer的实验效果，复制越多越差multitask learn

2017-04-17 14:28:45 2652

原创无监督学习（unsupervised learning） 5.生成模型

无监督学习（unsupervised learning） 5.生成模型1 PixelRNN每次生成一个像素，下一个像素由之前所有的pixel决定应用：image、audiotips：每个像素用 1-of-N encoding feature 来表示——类似的颜色先进行聚类（得到167个不同的颜色）2 Variational Auto-Encoder（VAE）变分自编码器：结构类似，加了一些

2017-04-17 07:25:33 1529

原创无监督学习（unsupervised learning） 4.自编码器

无监督学习（unsupervised learning） 4.自编码器1 Auto-EncoderExample：28x28=784 →\rightarrow Encoder →\rightarrow <784Decoder：将code返回原来的训练数据将Encoder和Decoder联合学习Deep Auto-Encoder：《Reducing the dimensionality of

2017-04-16 15:56:55 525

原创无监督学习（unsupervised learning） 3.近邻嵌入

无监督学习（unsupervised learning） 3.近邻嵌入Neighbour Embeddingmanifold learning：流行学习，将高维空间摊平（降维）——欧氏距离Locally linear Embedding（LLE）：找到xix_i的近邻xjx_j，它们的关系为wijw_{ij}，min∑i||xi−∑jwijxj||2min\sum\limits_{i} ||x_

2017-04-16 15:56:44 470

原创无监督学习（unsupervised learning） 2.词嵌入

无监督学习（unsupervised learning） 2.词嵌入Word Embedding1-of-N Encoding：每一个词用一个向量表示，该词对应其中的一维 ↓\downarrowword class：词分类 ↓\downarrowword enbedding：嵌入到一个高维空间里count based：wiw_i和wjw_j经常同时出现，V(wi)V(w_i)和V(wj)V

2017-04-16 15:56:30 658

原创 10.一些补充

10.一些补充C语言是可以用来编写操作系统的贴近硬件的语言，所以，C语言适合开发那些追求运行速度、充分发挥硬件性能的程序。而Python是用来编写应用程序的高级编程语言。许多大型网站就是用Python开发的，例如YouTube、Instagram、豆瓣。很多大公司，包括Google、Yahoo、NASA（美国航空航天局）都大量地使用Python。缺点： 1、运行速度慢，和C程序相比非常慢，因

2017-04-16 09:15:28 243

原创 9.文件

9.文件打印到屏幕：print读取键盘输入：1、raw_input；2、input(可以接受一个表达式)打开和关闭文件：open()、close() #!/usr/bin/python# -*- coding: UTF-8 -*-# 打开一个文件fo = open("foo.txt", "wb")print "文件名: ", fo.nameprint "是否已关闭 : ", fo.cl

2017-04-16 09:15:09 290

原创 8.函数、模块

8.函数、模块1 函数函数用来提高应用的模块性，代码的重复利用率。可自建。函数以def开头，参数在括号中间，不带表达式的return相当于返回nonedef functionname( parameters ): "函数_文档字符串" function_suite return [expression]调用：直接函数名称以及所需的参数即可可更改(mutable)与不可更改

2017-04-16 07:51:20 328

转载 7.日期和时间

7.日期和时间python提供了time和calender两个模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳的起始时间为1970年1月1日午夜0点。函数time.time()可以获取当前的时间戳。时间戳单位最适于做日期运算。但是1970年之前的日期就无法以此表示了。太遥远的日期也不行，UNIX和Windows只支持到2038年。获取当前时间：从返回浮点数的时间辍方式向时

2017-04-16 07:50:59 349

原创 6.判断、循环与控制

6.判断、循环与控制1 判断任何非0和非空（null）值为true，0 或者 null为false。if 判断条件：执行语句……elif 判断条件：执行语句……else：执行语句……由于 python 并不支持 switch 语句，所以多个条件判断，只能用 elif 来实现。2 循环while循环：判断条件可以是任何表达式，任何非零、或非空（null）的值

2017-04-15 16:54:30 302

原创 5.运算符

5.运算符算术运算符 +、-、×、/、%、**(幂)、//（整除）比较（关系）运算符 ==、！=、<>（不等于）、>、<、>=、<=赋值运算符 =、+=、-=、×=、/=、%=、**=、//=逻辑运算符 and、or、not位运算符成员运算符：测试实例中是否包含一系列的成员，包括字符串，列表或元组。 in、not in身份运算符：比较两个对象的存储单元运算符优先级

2017-04-15 16:54:16 209

转载 4.变量、数据类型

4.变量、数据类型1 变量变量是存储在内存中的值。创建变量时会在内存中开辟一个空间。基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。python中变量赋值不需要类型声明，这和c语言这些编译型语言有很大的区别。变量在使用前必须创建。a = 1 # 赋值整型变量b = 1.0 # 浮点型c = "name" # 字符串python可以进行多个变量同时赋值，例如：

2017-04-15 16:53:56 378

转载 3.基础语法

3.基础语法交互式编程：通过 Python 解释器的交互模式进来编写代码，只需要在命令行中输入 Python 命令即可启动交互式编程。脚本式编程：print "Hello, Python!";$ python test.py#!/usr/bin/pythonprint "Hello, Python!";$ chmod +x test.py # 脚本文件添加可执行权限$ ./test

2017-04-15 16:53:15 365

原创 2.python中文编码

2.python中文编码输出中文字符”你好，世界”就有可能会碰到中文编码问题print "你好，世界";Python中默认的编码格式是 ASCII 格式，在没修改编码格式时无法正确打印汉字，所以在读取中文时会报错。解决方法为只要在文件开头加入 # -- coding: UTF-8 -- 或者 #coding=utf-8 就行了。# -*- coding: UTF-8 -*-print "你

2017-04-15 16:52:14 241

原创 1.简介以及环境搭建

1.简介以及环境搭建1.简介python是一种解释型、面向对象、动态数据类型的高级程序设计语言。它是脚本语言。由于时解释型的语言，所以运行时没有编译这一个环节 Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。现在 Python 是由一个核心开发团队在维护，Guido van Rossum 仍然占据着至关重要的作用，指导其进展。以下

2017-04-15 16:51:58 317

原创无监督学习（unsupervised learning） 1.线性方法

无监督学习（unsupervised learning） 1.线性方法1 unspervised learningReduction(化繁为简)：Clustering & Dimension，只有输入Generation(无中生有)：只有输出2 ClusteringHow many clusters？K-Means：将X={x1,x2,…,xN}X = \{x_1, x_2, …,x_N

2017-04-15 16:51:15 2854

原创半监督学习（semi-supervised learning）

半监督学习（semi-supervised learning）1 introductionwhy semi-supervised learning? 收集数据很贵，收集有标签的数据更贵！ superviesd：D={(xi,yi)}Ni=1D = \{ (x_i,y_i)\}_{i = 1}^N semi-supervised：D={(xi,yi)}Mi=1∪{xu}Nj=M+1D

2017-04-15 10:26:11 5589

原创深度学习（Deep Learning） 6.why deep?

深度学习（Deep Learning） 6.why deep?1 fat+short or thin + tall?并不是参数越多表现越好modularization：模块化，（自动学习）Deep →\rightarrow modularization：每个模块只关注一小部分任务machine learning是因为没有足够的data，所以需要学习。？2 Speechphoneme：人类

2017-04-15 10:25:56 1211

原创深度学习（Deep Learning） 5.CNN

深度学习（Deep Learning） 5.CNN1 Convolutional Neural Network常用于图像处理，为什么卷积神经网络处理图像效果好？假设输入30000维，第一层1000维，那么这里的参数就有30000*1000个！CNN中可以去除一些参数，从而改变神经网络的架构。对于某一个神经元，它不需要看到整张图片，它只需要看到一部分特征模式，例如图片中有没有鸟嘴的存在只需要看

2017-04-15 10:25:12 757

原创深度学习（Deep Learning） 4.训练Tips

深度学习（Deep Learning） 4.训练Tips1 ProblemVanashing Gradient Problem：最开始的layer具有较小的梯度，学习速度慢，接近输出层的layer具有较大的梯度，学习速度快模型参数难找：local minima、saddle point、plateau2 Solution1.Dropout：testing结果不好时 Dropout是指在模

2017-04-14 18:34:18 382

原创深度学习（Deep Learning） 3.Example

深度学习（Deep Learning） 3.Example1 IntroductionKeras：easy to learn，作者 Francois Chollet现在google工作，keras已成为Tensorflow的官方API。Keras means horn（角）in Greek2 MNIST手写数字识别：deep learning中的hello worldmodel = Seq

2017-04-14 18:34:01 498

空空如也

空空如也