- 博客(32)
- 收藏
- 关注
RSS订阅原创 github下载指定文件
From GitURL to SVNURL根据分支不同，通用的办法是将”/branches/branchname/”替换成”/trunk/”。svn checkout your code svn checkout SVNURL https:// github.com/... svn co SVNURL...
2020-04-26 18:47:31
106
原创 语义分割分割常用网络
语义分割图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。一般的语义分割架构可以被认为是一个编码器-解码器网络。编码器通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构不同的地方主要在于解码器网络。解码器的任务是将编码器学习到的可判别特征（较低分辨率）从语义上投影到像素空间（较高分辨率），以获得密集分类。不同于分类任务中网络...
2020-04-26 16:25:30
18296
1
原创 python的itertools
combinations组合l = itertools.combinations('abc',2)list(l)# [('a', 'b'),('a', 'c'),('b', 'c')]permutations排列l = itertools.permutations([1,2,3], 3)list(l)# [(1,2,3),(1,3,2),(2,3,1),(2,1,3),(...
2020-04-25 10:30:21
117
原创 特征值和特征向量
n阶方阵存在数λ\lambdaλ和非零向量xxx，使得Ax=λxAx=\lambda xAx=λx则称λ\lambdaλ是A的一个特征值，xxx为A特征值λ\lambdaλ对应的特征向量。Ax=λxAx=\lambda xAx=λx -> (A−λE)x=0(A-\lambda E) x = 0(A−λE)x=0 -> (A−λE)=0(A-\lambda E) =0(A−λE...
2020-04-24 10:36:09
266
原创 KL散度、JS散度和交叉熵
对于连续型随机变量，假设P为随机变量X的概率分布，则p(x)为随机变量X在X = x处的概率三者都是用来衡量两个概率分布P(x)和Q(x)之间的差异性的指标KL散度KL散度（Kullback–Leibler divergence）又称KL距离，相对熵。D(P∣∣Q)=∫−∞∞P(x)logP(x)Q(x)D(P||Q)=\int_{-\infty}^\infty P(x)log\frac{P...
2020-04-22 13:13:51
1399
原创 HMM
HMM（隐马尔可夫模型）隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，用来描述一个含有未知参数的马尔可夫链所生成的不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。其难点是从可观察的参数中确定该过程的隐含参数。马尔可夫性质：无记忆性，这一时刻的状态，受且仅受前一时刻的影响。马尔可夫链：在给定当前信息的情况下，过去的信息状态对于预测将来状态是...
2020-04-21 12:51:25
268
原创 Factorization Machines
分解机(Factorization Machines，FM)推荐算法原理在推荐系统中，特征经过one-hot编码后，数据矩阵往往是十分稀疏的，而原本分类任务中最强的单模型——SVM又对高维稀疏的数据十分的不敏感，无法找到一个好的分割超平面。FM就是为了解决数据稀疏的情况下，特征组合的问题。与SVM不同的是，它不适用kernel，而是将参数矩阵进行分解，用sparse的数据来训练分解后的向量，...
2020-04-20 14:34:59
202
原创 图像特征计算
图像信息量一幅图像如果共有k种灰度值，并且各灰度值出现的概率分别为p1，p2，···，pk，根据香农定理，图像的信息量为H=−∑i=1kpilog2piH = -\sum_{i=1}^k p_i log_2 p_iH=−i=1∑kpilog2piH称为熵，当图像各灰度值出现概率彼此相等时，图像的熵最大。...
2020-04-19 11:49:12
576
原创 字节位与各数据类型
1字节（byte）= 8位（bit）在16位系统中，1字（word）= 2字节（byte）= 16位（bit）在32位系统中，1字（word）= 4字节（byte）= 32位（bit）在64位系统中，1字（word）= 8字节（byte）= 64位（bit）32位编译器char ：1个字节char*（即指针变量）: 4个字节（32位的寻址空间是2^32, 即32个bit，也就是...
2020-04-19 11:24:22
1067
原创 sql数据库
一些最重要的 SQL 命令分号是在数据库系统中分隔每条 SQL 语句的标准方法，这样就可以在对服务器的相同请求中执行一条以上的 SQL 语句。SELECT - 从数据库中提取数据UPDATE - 更新数据库中的数据DELETE - 从数据库中删除数据INSERT INTO - 向数据库中插入新数据CREATE DATABASE - 创建新数据库ALTER DATABASE - 修改...
2020-04-18 22:44:53
76
原创 算法定义
算法能够对一定规范的输入，在有限时间内获得所要求的输出。算法是对解决某一特定问题的操作步骤的具体描述。算法所具有的特征：1、有穷性，指算法必须能在执行有限个步骤之后终止。2、确切性，算法的每一步骤必须有确切的定义。3、可行性，算法中执行的任何计算步骤都是可以被分解为基本的可执行操作步骤，即每个计算步骤都可以在有限的时间内完成。4、输入项，一个算法有0个或多个输入，以刻画运算对象的初始...
2020-04-18 22:42:07
877
原创 python除法
python2中 / 为向下求整，对于整数会省去小数部分，对于浮点数会保持小数部分。python3中/，无论任何数据类型都会保留小数部分。但注意a=29/7print(a*7) #输出29.000000000000004...
2020-04-18 22:33:19
131
原创 解释性语言和编译性语言
解释性语言和编译性语言计算机不能直接理解高级语言，只能直接理解机器语言，所以必须要把高级语言翻译成机器语言，计算机才能执行高级语言编写的程序。翻译的方式有两种，一个是编译，一个是解释。两种方式只是翻译的时间不同。解释性语言的定义：解释性语言的程序不需要编译，在运行程序的时候才翻译，每个语句都是执行的时候才翻译。这样解释性语言每执行一次就需要逐行翻译一次，效率比较低。现代解释性语言通...
2020-04-18 22:26:57
210
原创 红黑树
数据结构之红黑树AVL树 (平衡二叉树) 最大作用就是查找，AVL树的查找、插入和删除在平均和最坏情况下都是O(logn)。如果在AVL树中插入或删除节点后，使得平衡因子大于1。此时，AVL树的平衡状态就被破坏，为了让它重新维持在一个平衡状态，就需要对其进行旋转处理, 那么创建一颗平衡二叉树的成本其实不小。红黑树同时以平衡、高效的随机访问著称。节点数量越多，效率越高，大部分情况下查找的节点...
2020-04-18 15:09:30
177
原创 DNN的损失函数和激活函数
均方差损失函数+Sigmoid激活函数Sigmoid激活函数σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1对于Sigmoid，当????的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数????′(????)也越来越小。同样的，当????的取值越来越小时，也有这个问题。仅仅在????取值为0附近时，导数????′(????)的取值较大。均方差+Sigmoid的BP...
2020-04-13 19:31:03
605
原创 DNN前向传播和反向传播
深度神经网络（Deep Neural Networks）Forward输入: 总层数L，所有隐藏层和输出层对应的矩阵????(从2开始)，偏倚向量????，输入值向量????输出：输出层的输出aLa^LaL初始化a1=xa^1=xa1=xfor l=2 to Lfor\; l=2\;to\; Lforl=2toL：al=σ(zl)=σ(Wlal−1+bl)a^l = \sigma(z^l) = ...
2020-04-13 14:51:27
351
原创 SKlearn.mixture
GMM Gaussian Mixture Model是EM算法在混合高斯分布的实现SKlearn.mixture.GaussianMixturen_components: 混合高斯模型个数，默认为1covariance_type: 协方差类型，默认‘full’ ；‘full’完全协方差矩阵（元素都不为零）‘tied’相同的完全协方差矩阵（HMM会用到） ‘diag’对角协方差矩阵（...
2020-04-10 15:58:41
884
原创 EM
期望最大化（Expectation-Maximum）算法，是隐式马尔科夫算法(HMM), LDA主题模型变分推断的基础算法。从样本观察数据中，找出样本的模型参数，最常用的方法就是极大化模型分布的对数似然函数。但有时得到的观察数据有未观察到的隐含数据，因而无法直接用极大化对数似然函数得到模型分布的参数。可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，...
2020-04-10 14:15:59
256
原创 Novelty Detection
非监督学习算法做特征工程的时候需要对异常数据做过滤，防止对归一化等处理的结果产生影响。对没有标记输出的特征数据做筛选，找出异常的数据...
2020-04-09 11:26:06
882
原创 Sklearn.cluster
KMeansn_clusters: 即k值，一般需要多试一些值以获得较好的聚类效果。max_iter： 最大的迭代次数，一般如果是凸数据集的话可以不管这个值，如果数据集不是凸的，可能很难收敛，此时可以指定最大的迭代次数让算法可以及时退出循环。n_init：用不同的初始化质心运行算法的次数。由于K-Means是结果受初始值影响的局部最优的迭代算法，因此需要多跑几次以选择一个较好的聚类效果...
2020-04-08 18:35:49
853
原创 Naive_bayes
机器学习分类算法多使用判别方法，直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(x)Y=f(x)Y=f(x)，要么是条件分布P(Y∣X)P(Y|X)P(Y∣X)朴素贝叶斯却是生成方法，直接找出特征输出Y和特征X的联合分布P(X)P(Y)P(X)P(Y)P(X)P(Y)，然后用P(Y∣X)=P(X,Y)/P(X)P(Y|X) = P(X,Y)/P(X)P(Y∣X)=P(X,Y)/P...
2020-04-08 13:04:10
150
原创 KNN
K近邻法(k-nearest neighbors)KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类时，一般是选择多数表决法，即训练集里和预测的样本特征最近的K个样本，预测为里面有最多类别数的类别。KNN做回归时，一般是选择平均法，即最近的K个样本的样本输出的平均值作为回归预测值。KNN对于k值的选择，一般根据样本的分布，通过交叉验证选择一个合适的k值。...
2020-04-07 16:47:46
687
原创 K-means
K-Means算法是无监督的聚类算法，存在有大量的变体。K-Means对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。假设簇划分为(C1,C2,...Ck)(C_1,C_2,...C_k)(C1,C2,...Ck)，最小化平方误差E：E=∑i=1k∑x∈Ci∣∣x−μi∣∣22E = \sum\limits...
2020-04-07 12:05:59
106
原创 Sklearn.decomposition
最常用的PCA：sklearn.decomposition.PCA主要用于非线性数据的降维的KernelPCA为解决单机内存限制的IncrementalPCA，有时候样本量可能是上百万+，维度可能也是上千，直接去拟合数据可能会让内存爆掉， 此时IncrementalPCA先将数据分成多个batch，然后对每个batch依次递增调用partial_fit函数，这样一步步的得到最终的样本最优降维...
2020-04-06 18:53:49
3371
原创 PCA
主成分分析（Principal components analysis）PCA：找出数据里最主要的特征，用数据里最主要的特征来代替原始数据。使数据从n维降到n’维损失尽可能的小。如从2维到1维，找到某一维度方向，它可以代表这两个维度的数据。????1明显比????2好，第一种解释是样本点到这个直线的距离足够近，第二种解释是样本点在这个直线上的投影能尽可能的分开。n’从1维推广到任意维，则希望降维的标...
2020-04-06 14:08:46
137
原创 Sklearn.preprocessing
缺失值处理Sklearn.impute.SimpleImputer([missing_values])首先看该特征是连续值还是离散值。如果是连续值，一是取所有有该特征值样本的平均值来填充缺失值，另一种是取中位数来填充缺失值。如果是离散值，则一般会选择所有有该特征值的样本中最频繁出现的类别值，来填充缺失值。missing_values：默认为NaN(缺失值numpy.nan用字符串‘Na...
2020-04-04 19:06:24
388
原创 Sklearn.feature_selection
选择合适的特征预选出特征集：可以询问该领域懂业务的专家，让他们给一些建议。较大影响的和较小影响的特征都选入候选集。过滤法选择特征特征集合很大时，在尝试降维之前，有必要用特征工程的方法去选择出较重要的特征结合。过滤法：按照特征的发散性或者相关性指标对各个特征进行评分，设定评分阈值或者待选择阈值的个数，选择合适特征。feature_selection.VarianceThr...
2020-04-04 17:37:04
415
1
原创 Sklearn.model_selection.GridSearchCV
sklearn.model_selection.GridSearchCV具体在scikit-learn中，主要是使用网格搜索，即GridSearchCV类。estimator :即调整的模型param_grid：即要调参的参数列表，以dict呈现。cv: S折交叉验证的折数，即将训练集分成多少份来进行交叉验证。默认是3,。如果样本较多的话，可以适度增大cv的值。获取最好的模型gri...
2020-04-03 11:38:10
595
原创 Sklearn.datasets
为方便验证算法，调试参数常常使用机器学习算法的随机数据生成np.random.rand(d0,d1,...,dn)rand(d_0, d_1, ..., d_n)rand(d0,d1,...,dn) 用来生成d0∗d1...∗dnd_0*d_1 ...*d_nd0∗d1...∗dn维的数组。数组的值在[0,1)之间。randn(d0,d1,...,dn)randn(d_0,...
2020-04-02 16:20:44
183
原创 Sklearn.xgboost
sklearn.XGBoost并不是sklearn中有xgboost类库，而是xgboost具有sklearn风格的API接口。XGBoost类库除了支持决策树作为弱学习器外，还支持线性分类器，以及带DropOut的DART决策树，不过通常情况下，使用默认的决策树弱学习器即可。对于sklearn风格的接口，主要有2个类可以使用，一个是分类用的XGBClassifier，另一个是回归用的XGB...
2020-04-01 13:12:47
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人