luojiaao的博客

原创 机器学习论文

https://www.tinymind.cn/articles/papers

原创 算法/深度学习/NLP面试题目

https://github.com/imhuay/Algorithm_Interview_Notes-Chinese

原创 python工程师面试准备资料

Table of ContentsPython语言特性1 Python的函数参数传递2 Python中的元类(metaclass)3 @staticmethod和@classmethod4 类变量和实例变量5 Python自省6 字典推导式7 Python中单下划线和双下划线8 字符串格式化:\x和.format9 迭代器和生成器10 *args an...

原创 数据增广领域知识

PCA的数据增广： 比如对数据进行PCA操作，比如取前5个主成分，

原创 深度学习知识体系

广义网络结构： 前馈神经网络 卷积神经网络 循环神经网络LSTM GRU 双向循环神经网络bi-LSTM bi-GRU(了解)网络中的特殊单元： BN（为什么可以加快学习） 用1x1的感受域来减少变量数（为什么可以加快学习） 用两2层3x3的感受域的卷积，代替5x5感受域的卷积（为什么可以优化网络） 用1x3感受域的卷积加上3x1感受域的卷积来代替3x3感受域的卷积（为什么可以...

原创 确定学习率的简单方法

一个简单的办法Leslie N. Smith 在2015年的一篇论文“Cyclical Learning Rates for Training Neural Networks”中的3.3节描述了一个非常棒的方法来找初始学习率，同时推荐大家去看看这篇论文，有一些非常启发性的学习率设置想法。这个方法在论文中是用来估计网络允许的最小学习率和最大学习率，我们也可以用来找我们的最优初始学习率，方法非常简...

转载 python常见库集合

库名称简介Chardet字符编码探测器，可以自动检测文本、网页、xml的编码。colorama主要用来给文本添加各种颜色，并且非常简单易用。Prettytable主要用于在终端或浏览器端构建格式化的输出。difflib，[Python]标准库，计算文本差异Levenshtein，快速计算字符串相似度。fuzzywuzzy,字符串模糊匹配。esmre,正则表达式的加速器。shortuuid...

原创 卡尔曼滤波

最近在研究语音增强算法，这两天正在看卡尔曼滤波，看到一个关于卡尔曼理论很好的帖子：How a Kalman filter works, in pictures，基本上把卡尔曼滤波的核心思想讲明白了，而且通俗易懂，特此推荐，本博客就不介绍公式了，只谈一下自己对卡尔曼滤波思想的理解，如果要看公式推导，建议直接看上述帖子。卡尔曼滤波运用于具有不确定性的动态系统状态估计，该系统一般具有两个状态，一个是通...

原创 最短路径算法

https://blog.csdn.net/qq_35644234/article/details/616145811 Dijkstra算法介绍Dijkstra算法采用的是一种贪心的策略，声明一个数组dis来保存源点到各个顶点的最短距离和一个保存已经找到了最短路径的顶点的集合：T，初始时，原点 s 的路径权重被赋为 0 （dis[s] = 0）。若对于顶点 s 存在能直接到达的边（s,m），则...

原创 HAAR特征，传统机器学习算法的图像识别特征

一、Haar分类器的前世今生人脸检测属于计算机视觉的范畴，早期人们的主要研究方向是人脸识别，即根据人脸来识别人物的身份，后来在复杂背景下的人脸检测需求越来越大，人脸检测也逐渐作为一个单独的研究方向发展起来。目前的人脸检测方法主要有两大类：基于知识和基于统计。“基于知识的方法主要利用先验知识将人脸看作器官特征的组合，根据眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来检测人脸。...

原创 python的装饰器（装饰者模式）

1. 装饰者模式装饰者模式是常用的软件设计模式之一。通过此设计模式，我们能够在不修改任何底层代码情况下，给已有对象赋予新的职责。python中可以用装饰器简单地实现装饰者模式。1.1 将函数作为参数传递在C/C++中，函数指针可以将函数作为参数传递给另一函数。而在python中，函数也是对象的一种，函数可以被引用，也可直接作为参数传入函数，以及...

原创 千万小时机器学习训练后，我从趟过的坑中学习到的 16 个技巧！

原创 排序算法

最弱：冒泡排序，一次遍历确定一个最大值中等：插入排序，一个一个地插入进来最强：快速排序，基于基准数的大小左右丢https://www.bilibili.com/video/av10076626?from=search&seid=17883161553292992505...

原创 四元数的理解

二元数是复平面三元数在理解上是存在的，但是在数学计算上是不成立的四元数是存在的，并且在数学上是可以计算的，四元分为实数+i+j+k实数和IJ都是用来控制方向，K是来控制自旋角的。在复平面内的乘积也是一种拉伸与旋转，比如乘i就是逆时针旋转90度。推广到四维，就变成了角度和自旋。 *前言：之前看了好多关于四元数的概念和推导，就是有点搞不懂，今天在...

原创 K-SVD的理解

理解k-svd字典学习一、字典学习字典学习也可简单称之为稀疏编码，字典学习偏向于学习字典D。从矩阵分解角度，看字典学习过程：给定样本数据集Y，Y的每一列表示一个样本；字典学习的目标是把Y矩阵分解成D、X矩阵：同时满足约束条件：X尽可能稀疏，同时D的每一列是一个归一化向量。D称之为字典，D的每一列称之为原子；X...

原创 特征值分解和奇异值（SVD）分解

本文先从几何意义上对奇异值分解SVD进行简单介绍，然后分析了特征值分解与奇异值分解的区别与联系，最后用python实现将SVD应用于推荐系统。1.SVD详解SVD(singular value decomposition)，翻译成中文就是奇异值分解。SVD的用处有很多，比如：LSA（隐性语义分析）、推荐系统、特征压缩（或称数据降维）。SVD可以理解为：将一个比较复杂的矩阵用更小更简单的...

原创 MP/OMP

MP算法是一个贪婪算法MP的目的：是为了求出用那几个基向量来表示一个向量，并且求出对应的系数。MP思想：我就疯狂的把向量往基向量上映射，映射一次就得到一个残差，继续把残差往基向量上映射，继续得到残差，继续映射。如果残差足够小，我就把这个东西忽略了，然后把之前在基向量映射过系数的加起来，我们就可以用基向量近似表示一个向量了（前提是忽略了足够小的残差）OMP算法是保证了...

原创 EarlyStop

在训练中，我们希望在中间箭头的位置停止训练。而Early stopping就可以实现该功能，这时获得的模型泛化能力较强，还可以得到一个中等大小的w的弗罗贝尼乌斯范数。其与L2正则化相似，选择参数w范数较小的神经网络。可以用L2正则化代替early stopping。因为只要训练的时间足够长，多试几个lambda。总可以得到比较好的结果。Early stopping: 优点：只运行一次梯度下...

原创 动态规划问题

今天整理了一下关于动态规划的内容，道理都知道，但是python来描述的方面参考较少，整理如下，希望对你有所帮助，实验代码均经过测试。请先好好阅读如下内容–什么是动态规划？ 摘录于《算法图解》 以上的都建议自己手推一下，然后知道怎么回事，核心的部分是142页核心公式，待会代码会重现这个过程，推荐没有算法基础的小伙伴看这本书《算...

原创 librosa的安装与使用

序言Librosa是一个用于音频、音乐分析、处理的python工具包，一些常见的时频处理、特征提取、绘制声音图形等功能应有尽有，功能十分强大。本文主要介绍librosa的安装与使用方法。一、libsora安装Librosa官网提供了多种安装方法，详细如下：pypi最简单的方法就是进行pip安装，可以满足所有的依赖关系，命令如下：pip install librosaconda如果安...

原创 librosa包进行mfcc特征提取

Python中有很多现成的包可以直接拿来使用，本篇博客主要介绍一下librosa包中mfcc特征函数的使用。1、电脑环境电脑环境：Windows 10 教育版Python：python3.62、需要了解的知识librosa包的介绍与安装见博主另一篇博客： https://blog.csdn.net/qq_39516859/article/details/80333431 梅尔倒谱系数...

原创 pandas的表合并操作

在上一篇文章中，我整理了pandas在数据合并和重塑中常用到的concat方法的使用说明。在这里，将接着介绍pandas中也常常用到的join 和merge方法mergepandas的merge方法提供了一种类似于SQL的内存链接操作，官网文档提到它的性能会比其他开源语言的数据操作（例如R）要高效。和SQL语句的对比可以看这里...

原创 pandas简洁手册

一、生成数据表 1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd122、导入CSV或者xlsx文件：df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel...

原创 pandas.loc()实践

df.loc[[1,1,1,4,0,0], 'sign']=1print(df) id date city category age price sign0 1001 2013-01-02 Beijing 100-A 23 1200.0 1.01 1002 2013-01-03 SH 100-B 44 ...

原创 python 中的map，dict，lambda,reduce,filter

1.map(function,sequence) 对sequence 中的item依次执行function(item), 见执行结果组成一个List返回例如：#!/usr/bin/python# -*- coding: utf-8 -*- def add100(x): return x+100 hh = [10,11,12] print(map(add100,hh)) ...

原创 pandas用法简介

https://blog.csdn.net/liufang0001/article/details/77856255

原创 变分自编码器（Variational Autoencoder, VAE），傻瓜式理解

变分自编码器（Variational Autoencoder, VAE）VAE是一个改了中间层的自编码机。基本思想来源：中间特征的泛化表示。与一般的区别：一般的自编码机就是一个多层网络，中间的特征是一个固定的向量值。而VAE中间的特征是一种分布。中间特征的抽象思考：1、如果输入是一个人脸图像，那么中间特征也许表示眼睛大小、肤色、头发种类等等等；2、类似于label smoothing一样，...

原创 两种白化，pca白化只是对PCA输出标准化，另一种白化是突出边缘的算法

一、Pca白化 PcaWhitening（1）消除数据的相关性介绍的主成分分析Pca中，通过转化矩阵U，把原始数据映射到新的数据上；即Xrot=U*X；原始数据X经过转换后，得到的新的矩阵Xrot的各个维数的数据之间的相关性已经被消除；Xrot的协方差矩阵为对角阵，即表示其各个数据维度间无相关性；（2）所有特征具有相同的方差为了使每个输入特征具有单位方差，我们可以直接使用作为缩放...

原创 matplotlib的动态图实现样例

from matplotlib import pyplot as plt from matplotlib import animation # first set up the figure, the axis, and the plot element we want to animate fig = plt.figure() ax1 = fig.add_subplot(...

原创 python random.shuffle()有BUG！！

import random a = [[1,3,5],[7,9,11]] b = [1,3] ran = random.randint(0,100) random.seed(ran) random.shuffle(a) random.seed(ran) random.shuffle(b) print(a) print(b)这样看起来是没BUG的，我也做过了小数据量的实验，也是...

原创 PIL的resize

from PIL import Image img = Image.open(‘D:\image_for_test\Spee.jpg’) print(“初始尺寸”,img.size) print(“默认缩放NEARESET”,img.resize((128,128)).size) print(“BILINEAR”,img.resize((127,127),Image.BILINEAR).s...

原创 PCA降维python实现

#coding=utf-8from numpy import *'''通过方差的百分比来计算将数据降到多少维是比较合适的，函数传入的参数是特征值和百分比percentage，返回需要降到的维度数num'''def eigValPct(eigVals,percentage): sortArray=sort(eigVals) #使用numpy中的sort()对特征值按照从小到大排序...

原创 mrmr学习笔记

mrmr是最大相关最小冗余 pymrmr库 最大化特征与标签的关系（信息增益也就是分类之后的商与分类之前的熵之差） 最小化特征之间的重复特征（互信息，公式）（单纯地通过固定算法来判断信息的强度与冗余是有可能把一些细节上的特征给分数打低了）# pd = pandas.read_csv("./X_train.csv")# result = pymrmr.mRMR(pd,"MIQ",30...

转载 densenet tensorflow版

import tensorflow as tffrom tflearn.layers.conv import global_avg_poolfrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.contrib.layers import batch_norm, flattenfrom tensor...

原创 libsvm的使用说明

SVM是一个以空间为依据的机器学习算法1、C-SVC 以惩罚系数为基础来进行近似平面分割 2、V-SVC 以错分的比例来近似平面分割，是对C-SVC的改进版本，解决了惩罚系数的难以确定的问题。SVM包括SVC和SVR，一个是分类，一个是回归。 1.E-SVR (ε-SVR) 2.v-SVR 他们的区别没有找到具体的点，有人说ε-SVR是最小化ε为目标；v-SVR是限制...

转载 迁移学习的例子

#!/usr/bin/env python3# -*- coding: utf-8 -*-import globimport os.pathimport randomimport numpy as npimport tensorflow as tffrom tensorflow.python.platform import gfile# Inception-v3模型瓶颈层的节点...

原创 编写tensorflow的神经网络模型的流程

数据准备文本数据/图像数据数据的预处理数据的生成数据转换TFRecord文件example_data_input.pyexample_inference.pyexample_train.pyexample_eval.py

原创 tensorflow列队整理知识点

列队的作用重点内容一、tensorflow提供了2种列队第一种列队是FIFOQueue(2,tf.int32),先入先出第二种列队是RandomShuffle(2,tf.int32)，入队顺序和出队顺序是无关的二、tensorflow提供了2中列队操作入队操作 enqueue()，enqueue_many(([0,10],]))出队操作dequeue()三、列队的意...