- 博客(48)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 极大似然估计和贝叶斯估计
贝叶斯估计贝叶斯估计简单理解就是建立在贝叶斯公式和假设独立的基础之上进行的估计比极大似然估计就多了这一项极大似然估计是完全使用样本去估计，而贝叶斯估计是通过先验知识和样本联合去估计，当样本量非常大的时候，如趋于无穷时，先验知识就会变得微不足道，不会影响估计的结果，极大似然估计就趋向等于贝叶斯估计；当样本量比较小的时候，贝叶斯估计就比较灵活...
2019-06-09 14:01:24
742
原创 win10的创建还原点系统恢复和dism++的系统备份和恢复比较
今天做了个实验，结论如下1. win10的创建还原点系统恢复能指定备份那个盘，还原时，创建还原点之后新建的文件会保留下来，而如果删除或更改了还原点之前已有的文件，还原时会把文件还原到创建还原点的那个时刻2. dism++系统备份只能是备份C盘，注意备份和还原时软件和备份文件都不要放在C盘，我在一台win10和office已经激活的电脑上进行了备份，在另一台电脑上（装的是win10系统）进行...
2019-05-21 14:26:23
6717
原创 损失函数中的交叉熵损失和均方损失比较
损失函数之均方误差MSE(一般用于回归问题)回归问题与分类问题不同，分类问题是判断一个物体在固定的n个类别中是哪一类。回归问题是对具体数值的预测。比如房价预测，销量预测等都是回归问题，这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。而回归问题最常用的损失函数是均方误差MSE，定义如下：上式中...
2019-05-20 17:23:47
2146
原创 TensorFlow学习（11）安装GPU版本的Tensorflow
安装CUDA1. 准备好NVIDIA的显卡，下载安装CUDA：https://developer.nvidia.com/cuda-downloads2.安装好之后把CUDA安装目录下的bin和lib\x64添加到环境变量Path中安装cuDNN1. cuDNN下载：https://developer.nvidia.com/rdp/cudnn-download2. 解压压缩...
2019-05-09 11:05:38
789
原创 TensorFlow学习（10）google图像识别网络inception-v3
下载保存模型import tensorflow as tfimport osimport tarfileimport requestsinception_pretrain_model_url = 'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz'inception_pre...
2019-05-07 19:31:36
265
原创 TensorFlow学习（9）循环神经网络、保存模型和载入模型
RNNRNN 和 BP 都有梯度消失的问题，信号会逐渐减弱LSTM主要用于文本和语音等序列化问题LSTM 隐藏层的神经元不像BP的那样的神经元，而是如下比较复杂的block第一项的输入影响了第4和第6项的输出结果手写数字识别使用卷积神经网络案列import tensorflow as tffrom tensorflow.examples.tuto...
2019-05-07 16:54:56
518
原创 TensorFlow学习（8）卷积神经网络CNN
传统神经网络权值太多，计算量太大，需要大量样本进行训练，根据经验，一般来说样本的数量最好是权值数量的 5 - 30 倍，如 有1万个权值，最好有5万-10万个样本来训练局部感受野他们发现了每一个视觉神经元只会处理一小块区域的视觉图像，即感受野（Receptive Field）。卷积神经网络的概念即出自于此。卷积神经网络CNN第一个卷积特征由黄色区域计算：1*1+1*...
2019-05-06 18:02:54
1162
原创 TensorFlow学习（7）tensorboard 网络结构
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist = input_data.read_data_sets('MNIST_data',one_hot=True)# 不是一张张图片放入神经网络，定义一个批次，一次 100batch_size = 100...
2019-05-05 23:57:41
268
1
原创 TensorFlow学习（6）手写数字识别优化
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist = input_data.read_data_sets('MNIST_data',one_hot=True)# 不是一张张图片放入神经网络，定义一个批次，一次 100batch_size = 100...
2019-05-05 19:14:49
220
原创 TensorFlow学习（5）优化器 Optimizer
Optimizertf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train. AdagradOptimizer tf.train.AdagradDAOptimizer tf.train.MomentumOptimizer tf.train.AdamOptimizer tf.train.FtrlOpti...
2019-05-05 16:29:48
554
原创 TensorFlow学习（4）拟合
回归问题分类问题解决方法正则化其实就是减少修改权重的步子，也就是减少误差，降低权重的重要性Dropout 每次迭代使部分神经元工作，部分不工作，使得似乎是多个模型的平均结果，测试的时候使用所有的神经元Dropout 会使收敛速度变慢如果分别使用训练集、测试集计算准确度，画出曲线，如果这两条曲线偏差比较大，那么说明发生过拟合，因为用新的数据时准确度明显下降。如果...
2019-05-05 14:47:21
215
原创 TensorFlow学习（3）二次代价函数和交叉熵代价函数
二次代价函数（quadratic cost）假如我们的目标是收敛到1，A点为0.82距离目标远，梯度比较大，权值调整比较大，B点为0.98距离目标近，梯度比较小，权值调整比较小，调整方案合理假如我们的目标是收料到0，A点为0.82距离目标近，梯度比较大，权值调整比较大，B点为0.98距离目标远，梯度比较小，权值调整比较小，调整方案不合理交叉熵代价函数（cross-entro...
2019-05-05 12:30:45
571
原创 TensorFlow学习（2）简单手写数字识别
MNIST数据集下载网址：MNIST 下载的数据：训练集的图片和标签，测试集的图片和标签，60000行的训练数据集和10000行的测试数据集将二维数组展开成一维的向量构建简单的神经网络softmax函数import tensorflow as tffrom tensorflow.examples.tutorials.mnist import inpu...
2019-05-05 10:31:05
511
原创 TensorFlow学习（1）基础使用
基本概念基本结构创建图和启动图，常量使用import tensorflow as tf# 创建 op 常量m1 = tf.constant([[3,3]])m2 = tf.constant([[2],[3]])product = tf.matmul(m1, m2)print(product)# Tensor("MatMul:0", shape=(1, 1),...
2019-05-04 11:17:43
194
原创 数据分析线性回归的诊断
多元线性回归的假设Y的平均值能够准确地被由X组成的线性函数建模出来 解释变量和随机扰动项不存在线性关系 解释变量之间不存在线性关系（或强相关） 假设随机误差项 ε 是一个均值为0的正态分布 假设随机误差项 ε 的方差恒为 σ^2 误差是独立的残差分析残差图解决方法1.X和Y为非线性关系：加入X的高阶形式，一般加X2已经足够了2.异方差：横截面...
2019-04-27 19:17:39
1630
原创 二手房房价影响因素分析案例
背景介绍在对房价的影响因素进行模型研究之前，首先对各变量进行描述性分析，以初步判断房价的影响因素，进而建立房价预测模型步骤如下：（一） 因变量分析：单位面积房价分析（二） 自变量分析： 2.1 自变量自身分布分析 2.2 自变量对因变量影响分析（三）建立房价预测模型 3.1 线性回归模型 ...
2019-04-27 09:32:41
4281
2
原创 使用线性回归做客户价值预测
数据统计分析中 y 和 x 的关系线性关系：y = β* x 抛物线关系：y = β0 * x + β1 * x^2 对数关系：y = ln(x) 指数关系：y = e^x ...主要内容线性回归的模型、目标与算法 正则化方法：岭回归、LASSO算法、弹性网络 算法汇总：最小二乘法、极大似然估计、正则化的最小二乘法扰动项就是不能被 X 解释的 Y 的变异，就是找不到解...
2019-04-26 17:11:20
1208
1
原创 数据分析参数估计与统计推断（3）两样本T检验和相关分析
信用卡客户消费预测的例子信用卡部门拥有客户的个人信息和信用卡支出信息。这些数据存放在“CREDITCARD_EXP”表中。Acc 字段表示是否有开卡，目前尚有一些客户注册后没有开卡，部门业务人员希望能够预测其开卡后的消费情况import pandas as pdcreditcard= pd.read_csv(r'creditcard_exp.csv', skipinitialspace...
2019-04-25 22:58:56
1248
原创 数据分析参数估计与统计推断（2）假设检验与单样本T检验
我们关心的是样本的均值是否等于某个值，所以叫单样本假设检验拒绝域与接收域我们作出一个置信区间来，如果总体的均值在这个区间之内，我们就接受这个假设，在范围之外就拒绝这个假设。统计学认为小概率事件在一次抽样中是不应该发生的，如果发生我们可以拒绝它，认为它不正确假设检验只作等值假设1. 作出假设 H0：μ = 0.1，H1：μ != 0.12. 作出显著性水平 α，它是在...
2019-04-25 20:37:27
871
原创 数据分析参数估计与统计推断（1）参数估计置信区间与中心极限定理
主要内容假设检验与单样本T检验 两样本T检验 方差分析(分类变量和连续变量关系检验) 相关分析(两连续变量关系检验) 卡方检验(两分类变量关系检验)研究两个变量是否有关系，即是否独立，如身高与性别是否有关系，男生的身高均值与女生身高的均值是不等的，它们的差不为零，但其实很多变量（如性别男、女）之间的均值之差都不为零，那它们均值之差到什么程度才认为这两个变量是有关系的，是独立的呢？...
2019-04-25 16:10:45
1654
原创 数据分析：个人贷款违约案例（逻辑回归）
数据科学方法论数据挖掘实施路线图案例背景本数据为一家银行的个人金融业务数据集，可以作为银行场景下进行个人客户业务分析和数据挖掘的示例。这份数据中涉及到5300个银行客户的100万笔的交易，而且涉及700份贷款信息与近900张信用卡的数据。通过分析这份数据可以获取与银行服务相关的业务知识。例如，提供增值服务的银行客户经理，希望明确哪些客户有更多的业务需求，而风险管理的业务人员可以...
2019-04-24 20:37:40
5631
3
原创 数据整合sql两表连接
纵向连接表集合查询—并、交、差将两张表中的记录看作一个集合，则并集是两张表中重复的记录只保留一份，不重复都保留 交集是只保留一份重复的记录 差集是只保留表1中不重复的记录保留SQL 操作会生成一个中间表（intermediate result set）注意，union后面没有跟随all选项，因此剔除重复值最后结果横向连接表交叉连接(cross jo...
2019-04-24 12:37:01
1297
原创 数据处理、pandas常用函数和技巧
1. 通过发卡时间计算年龄#%% 不同类型卡的持卡人在办卡时的平均年龄对比，issued 为发卡时间，birth_date 为出生日期import seaborn as snsimport timeimport pandas as pdcard_t['age']=(pd.to_datetime(card_t['issued'])-pd.to_datetime(card_t['b...
2019-04-23 23:00:16
201
原创 数据分析之清洗和整理
数据清洗脏数据或数据不正确，比如 ‘0’ 代表真实的 0，还是代表缺失；错误数据，Age = -2003 数据不一致，比如收入单位是万元，利润单位是元，或者一个单位是美元，一个是人民币 数据重复 缺失值 离群值利用图形可以直观快速地对数据进行初步分析，直方图、饼图、条形图、折线图、散点图等import pandas as pdimport os import numpy...
2019-04-22 23:35:35
1663
原创 数据分析描述统计方法
描述统计的总结统计量# In[48]:均值snd.price.mean()# In[4]:中位数snd.price.median()# In[5]:标准差snd.price.std()# In[6]:偏度snd.price.skew()# In[16]:snd.price.agg(['mean','median','sum','std','s...
2019-04-22 16:30:09
1599
原创 数据分析之常用统计量与分布
众数、平均数和中位数一般不选众数为统计量，只有数据非常干净的时候众数才有价值。当数据对称时，我们选择均值，做模型做预测，都是均值，参数估计选用均值，非参用中位数，描述性统计右偏时选中位数；一般不会出现左偏，如二八定律。正太分布偏度 skewness = 0，右偏 skewness > 0，一般大于1右偏较严重，左偏 skewness < 0分布正太分布...
2019-04-21 23:41:44
2546
转载 用一个月整理的Pandas的教程！最全面的教程没有之一！先收藏吧！
Pandas是基于NumPy的一个开源 Python 库，它被广泛用于快速分析数据，以及数据清洗和准备等工作。它的名字来源是由“ Panel data”（面板数据，一个计量经济学名词）两个单词拼成的。简单地说，你可以把 Pandas 看作是 Python 版的 Excel。我喜欢 Pandas 的原因之一，是因为它很酷，它能很好地处理来自一大堆各种不同来源的数...
2019-04-21 18:52:13
2885
2
转载 深度学习－－神经网络权重初始化
原文：https://blog.csdn.net/akadiao/article/details/78277908
2019-04-03 14:51:10
216
转载 一文弄懂神经网络中的反向传播法——BackPropagation
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果...
2019-03-26 23:02:50
199
原创 JS定时器
1. setTimeout()setTimeout函数用来指定某个函数或某段代码，在多少毫秒之后执行。它返回一个整数，表示定时器的编号，以后可以用来取消这个定时器。setTimeout函数接受两个参数，第一个参数func|code是将要推迟执行的函数名或者一段代码，第二个参数delay是推迟执行的毫秒数，setTimeout的第二个参数如果省略，则默认为 0，除了前两个参数，setTimeout...
2019-03-22 09:59:02
531
原创 JS之异步探究
1. 单线程模型单线程模型指的是，JavaScript 只在一个线程上运行。也就是说，JavaScript 同时只能执行一个任务，其他任务都必须在后面排队等待注意，JavaScript 只在一个线程上运行，不代表 JavaScript 引擎只有一个线程。事实上，JavaScript 引擎有多个线程，单个脚本只能在一个线程上运行（称为主线程），其他线程都是在后台配合JavaScript 之所以...
2019-03-21 18:55:15
140
原创 JS字符串常用方法
String.prototype.charAt() 返回指定位置的字符，参数是从0开始编号的位置，这个方法完全可以用数组下标替代，如果参数为负数，或大于等于字符串的长度，charAt返回空字符串'abc'.charAt(1) // "b"'abc'[1] // "b"'abc'.charAt(-1) // ""'abc'.charAt(3) // ""String.prototy...
2019-03-18 22:22:43
151
原创 JS数组常用方法
join()方法以指定参数作为分隔符，将所有数组成员连接为一个字符串返回。如果不提供参数，默认用逗号分隔var a = [1, 2, 3, 4];a.join(' ') // '1 2 3 4'a.join(' | ') // "1 | 2 | 3 | 4"a.join() // "1,2,3,4"concat 方法用于多个数组的合并。它将新数组的成员，添加到原数组成员的后部，...
2019-03-18 22:13:53
113
原创 JS中 Object 对象常用方法
1. Object.getPrototypeOf()Object.getPrototypeOf方法返回参数对象的原型。这是获取原型对象的标准方法var F = function () {};var f = new F();Object.getPrototypeOf(f) === F.prototype // true上面代码中，实例对象f的原型是F.prototype下面是几种特殊对...
2019-03-16 15:31:17
1010
1
原创 JS对象的继承
1. 原型对象概述1.1 构造函数的缺点function Cat(name, color) { this.name = name; this.color = color; this.meow = function () { console.log('喵喵'); };}var cat1 = new Cat('大毛', '白色');var cat2 = new Ca...
2019-03-15 09:57:27
201
原创 JS中的 this 关键字（偏应用）
1. 涵义简单说，this就是属性或方法“当前”所在的对象var person = { name: '张三', describe: function () { return '姓名：'+ this.name; }};person.describe()// "姓名：张三"由于对象的属性可以赋给另一个对象，所以属性所在的当前对象是可变的，即this的指向是可变的v...
2019-03-14 12:06:21
192
原创 JS中的实例对象与 new 命令
1. 构造函数JavaScript 语言的对象体系，不是基于“类”的，而是基于构造函数（constructor）和原型链（prototype）JavaScript 语言使用构造函数（constructor）作为对象的模板。所谓”构造函数”，就是专门用来生成实例对象的函数。它就是对象的模板，描述实例对象的基本结构。一个构造函数，可以生成多个实例对象，这些实例对象都有相同的结构构造函数就是一个普...
2019-03-13 17:35:49
281
原创 JS中 JSON 的用法
一、JSON.stringify()1. JSON.stringify() 用于将一个值转为 JSON 字符串。该字符串符合 JSON 格式，并且可以被JSON.parse方法还原JSON.stringify('abc') // ""abc""JSON.stringify(1) // "1"JSON.stringify(false) // "false"J
2019-03-13 16:13:47
1429
原创 JS正则表达式
1. 概述新建正则表达式有两种方法。一种是使用字面量，编译时执行，速度快，常用，以斜杠表示开始和结束var regex = /xyz/;另一种是使用 RegExp 构造函数，运行时执行var regex = new RegExp('xyz');RegExp 构造函数还可以接受第二个参数，表示修饰符var regex = new RegExp('xyz', 'i');// 等价于...
2019-03-11 20:43:08
215
原创 JS对象（this）绑定规则
摘录于《你不知道的js》（上）由 new 调用？绑定到新创建的对象由 call 或者 apply（或者 bind ）调用？绑定到指定对象由上下文对象调用？绑定到那个上下文对象默认：在严格模式下绑定到 undefined，否则绑定到全局对象ES6 中的 this 绑定在箭头函数中不会使用以上四条标准，会继承外层函数调用的 this 绑定（无论 this 绑定到什么），而且箭头函数的绑定无...
2019-03-04 23:33:19
576
Hadoop2.0安装参考手册
2018-08-29
Linux文件操作和用户管理
2018-08-29
《Java从入门到精通》.(明日科技)1
2018-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人