- 博客(34)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 如何利用matlab做BP神经网络分析（包括利用matlab神经网络工具箱）
利用MATLAB 进行BP神经网络的预测（含有神经网络工具箱） 最近一段时间在研究如何利用预测其销量个数，在网上搜索了一下，发现了很多模型来预测，比如利用回归模型、时间序列模型，GM（1,1）模型，可是自己在结合实际的工作内容，发现这几种模型预测的精度不是很高，于是再在网上进行搜索，发现神经网络模型可以来预测，并且有很多是结合时间序列或者SVM（支持向量机）等组合模型来进...
2016-11-21 21:54:01
146393
75
原创 动手入门深度学习笔记-CNN模型以及进阶模型
CNN模型code实现## 二维互相关import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for...
2020-02-19 21:23:38
624
原创 动手入门深度学习笔记-机器翻译(注意力机制与Seq2seq模型,Transformer)
机器翻译1.定义将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。2.code 实现## 机器翻译定义"""主要是将一段文本从一种语言自动翻译成另外一种语言输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同"""import oso...
2020-02-19 21:10:54
872
原创 动手入门深度学习笔记-过欠拟合&梯度爆炸与消失
过欠拟合1.定义一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。2.code实现import torch...
2020-02-19 20:54:40
385
原创 动手入门深度学习笔记-RNN基础&GRU&LSTM&深度RNN&双向RNN
RNN模型import osos.listdir('/home/kesci/input')import numpy as npimport torchfrom torch import nn,optimimport torch.nn.functional as Fimport syssys.path.append('../input/')import d21_jay9460...
2020-02-14 22:42:36
305
原创 动手入门深度学习笔记-文本预处理以及语言模型
文本预处理## 读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip()...
2020-02-14 22:38:50
171
原创 动手入门深度学习笔记-线性回归&softmax回归
线性回归从0开始的实现import torchimport matplotlib.pyplot as pltimport numpy as npimport randomfrom IPython import display### 显示torch 版本print(torch.__version__)## 生成1000个样本数据num_inputs = 2num_examp...
2020-02-14 20:05:51
222
原创 python小技巧---快速合并文件夹中的所有的文件
废话不说。这里直接展示出代码，希望对大家有帮助import osimport pandas as pdpath = r'E:\xx\xxx'big_file =[]for file in os.listdir(path): big_file.append(pd.read_excel(os.path.join(path,file)))writer = pd.ExcelWrit...
2019-05-24 13:48:45
4521
1
原创 python技巧--判断文件的编码形式
工作中经常因为文件的编码，导致读取文件时出现错误，这里我查了一下python 有相关的代码，这里分享出去pip install chardet执行import chardetf =open('a.doc',r)data = f.read()print chardet.detect(data)结果{'confidence':0.64465744,'en...
2019-05-22 11:57:04
334
转载 风控--连续型变量最优分箱基于CART算法
这里分享一篇基于Gini系数的最优分箱，别的不说，直接上代码，有问题可以联系我。+qq/weixin:1379022527import pandas as pdimport numpy as np #读取数据集，至少包含变量和target两列sample_set = pd.read_excel('/数据样本.xlsx') def calc_score_median(sample_...
2019-05-21 19:00:11
2420
原创 风控建模----连续型变量最优分箱代码(原创)
最近在整理有关风控建模的相关的代码，昨天在知乎上看见某大神写的一个连续型变量分箱代码，这里我进行分析以及汇总，其整理如下,将其整理出来分享给大家，仅供参考：import pandas as pdimport numpy as npfrom sklearn.tree import DecisionTreeClassifierdef _optimal_binning_boundary(x...
2019-05-14 18:11:48
4581
3
原创 win10 如何自动运行python 代码
我们经常在做报表一些需求时，需要将每天定时运行python 代码 这里我看了一篇文章 写的不错 分享给大家win10下如何自动运行python 代码step1:首先选择管理step2:找到并打开任务计划程序step3:点开新建基本任务step4:在触发器选择程序执行的频率step5:选择启动程序时自动运行step6:启动程序 相关的参数对应的...
2018-12-17 11:26:04
8000
2
转载 二维码生成-python实现---转载
利用python 生成二维码原文链接https://blog.csdn.net/henni_719/article/details/54580732 qrcode库是用于生成二维码图像的库，该库的下载链接：https://pypi.python.org/pypi/qrcod...
2018-06-25 15:12:39
1228
原创 机器学习与算法（18）-常见的梯度下降的算法
常见梯度下降的算法通常，在常见的机器学习与算法中，对于很多的监督式算法中，都需要我们对其原始模式建立其损失函数，然后在采用一些优化的算法来对建立的损失函数进行优化，目的是为了找到更优的参数，因此了解常见的随机梯度下降的算法，对于如何降低误差，有很大的帮助，在这里，将列出一些常见的梯度下降的算法：1：批量...
2018-03-28 14:32:25
722
原创 Django学习总结（1）-简介
学习Django笔记总结系列（1）--简介原创文章，转载请注明：https://blog.csdn.net/xgxyxs/article/details/796847371：Django简介Django作为python开发中重量级的一种web 框架，其设计思想主要是参考了MVC 框架的原理，因此为了很好的理解Django框架，...
2018-03-25 12:08:15
494
转载 机器学习与算法（17）-Factorization Machine
转自：http://blog.csdn.net/google19890102/article/details/45532745 因子分解机（FM算法模型） 一、因子分解机FM的模型 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵...
2018-03-08 21:04:38
470
原创 机器学习与算法（16）-softmax 回归
softmax 回归softmax 回归该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的...
2018-03-08 20:45:24
877
原创 机器学习与算法（15）--卡方自动交互检测算法 CHAID
卡方自动交互检测算法 CHAID 卡方自动交互检测法（chi-squared automatic interaction detector, CHAID）最早由Kass于1980年提出，是一个用来发现变量之间关系的工具，是一种基于调整后的显着性检验（邦费罗尼检验）决策树技术。 其核心思想是：根据给定...
2018-03-04 13:49:09
5475
原创 机器学习与算法（14）--ID3算法(Iterative Dichotomiser 3)
ID3算法 ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。ID3算法,即Iterative Dichotomiser3，迭代二叉树三代，是Ross Quinlan发明的一种决策树算法，这个算法的基础就是上面提到的奥卡姆剃刀原理，越是小...
2018-03-04 13:48:08
2772
转载 机器学习与算法（13）--分类和回归树（CART）
分类和回归树（CART）转自http://blog.csdn.net/baimafujinji/article/details/53269040算法步骤CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地...
2018-03-04 13:47:13
4152
2
原创 机器学习与算法（12）--最小角回归（LARS）
最小角回归（LARS）最小角回归(LARS)是对高维数据的回归算法， 由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshirani 开发完成。 LARS 和逐步回归很像。在每一步，它寻找与响应最有关联的 预测。当有很多预测有相同的关联时...
2018-03-04 13:46:07
2222
转载 机器学习与算法（11）--弹性网络(Elastic Net)
弹性网络(Elastic Net)弹性网络是一种使用 L1，L2范数作为先验正则项训练的线性回归模型.这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso一样，但是它仍然保持一些像Ridge的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。弹性网络是一不断叠代的方法。...
2018-03-04 13:44:57
41978
原创 机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)
Lasso算法 Lasso算法（least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法）是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，最初由斯坦福...
2018-03-04 13:43:50
12699
原创 机器学习与算法（9）--岭回归（Ridge Regression）
岭回归（Ridge Regression） 岭回归(ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实...
2018-03-04 13:42:40
14142
原创 机器学习与算法（8）--局部加权学习算法（LWR）
局部加权学习算法（LWR） 局部加权回归（LWR）是非参数学习方法。 首先参数学习方法是这样一种方法：在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值是确定的。而非参数学习方法是这样一种算法：在预测新样本值时候每次都会重新训练数据得到新...
2018-03-04 13:41:11
1942
1
原创 机器学习与算法（7）--自组织映射算法（SOM）
自组织映射算法（SOM）自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。自组织映射（SOM）是一种非监督学习，一...
2018-03-04 13:40:03
2937
原创 机器学习与算法（6）--学习矢量化
学习矢量化 学习矢量量化（Learning Vector Quantization，简称LVQ），与1988年提出的一种用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络分类算法。典型的学习矢量量化算法有：LV...
2018-03-04 13:38:32
3545
原创 机器学习与算法（5）--KNN 算法
K-近邻算法（KNN）K近邻算法是一种基于类比的分类方法，主要通过给定的检验组与和它相似的训练组进行比较来学习。训练组用n个属性来描述，每个元组代表n维空间上的点。当给定一个未知元组时，K最近邻分类法搜索该模式空间，找出最接近未知元组的k个训练组，并将未知元组指派到模式空间中它的k个...
2018-03-04 13:35:27
527
原创 机器学习与算法（4）--本地散点平滑估计(LOESS)
本地散点平滑估计（LOESS）本地散点平滑估计（Locally Estimated Scatterplot Smoothing，LOESS），事先不用确定参数数量，每次预测的时候，用指定的样本点周围的样本点进行临时训练，确定参数。优缺点: 优点：直接、快速...
2018-03-04 13:32:30
5680
原创 机器学习与算法（3）--多元自适应回归(MARS)
多元自适应回归样条 多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS)是由美国的统计学家Jerome Friedman于1991年提出的一种数据分析方法。 该方法以样条函数的张量积作为基函数,分为前向过程、后向剪枝过程与模型选取...
2018-03-04 13:30:32
21670
3
原创 机器学习与算法（2）--logistic回归
Logistic回归logistic回归对应线性回归，但旨在解决分类问题，即将模型的输出转换为0/1值。逻辑回归直接对分类的可能性进行建模，无需事先假设数据的分布。最理想的转换函数是单位阶跃函数（也称Heaviside函数），但单位阶跃函数是不连续的，没法在实...
2018-03-04 13:28:06
387
原创 机器学习与算法（1）---线性回归
线性回归线性回归是最简单的回归方法，它的目标是使用超平面拟合数据集，即学习一个线性模型以尽可能准确的预测实值输出标记。 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线...
2018-03-04 13:25:28
543
转载 利用SAS软件制作报表的常用手法
如何利用SAS 软件制作报表常用的技巧 1、先设计好你的报表格式2、用SAS过程先初步得到这些结果1. 比如可以用means过程、univariate过程得到一些描述统计量；2. 可以用means过程后面加选项t来做t成组检验，可以用ttes...
2016-11-27 23:50:59
7705
1
原创 R语言学习-自动化处理文件
如何利用R来自动化处理文件方法1： R语言中 C:\Program Files\R\R-3.2.0\bin\x64 中有个 Rscript.exe，这是脚本运行的程序。(1)将你的R语言程序写入一个叫mywork.r的文件中，文件名字自己随便起就行。 (2)建立个Rcmd.txt文件，里面写入代码 ： cd...
2016-11-16 21:39:21
2279
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人