- 博客(58)
- 收藏
- 关注
RSS订阅
原创 python股票预测（tushare）-基于贝叶斯原始代码
1、tushare介绍Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中体现出的优势，Tushare返回的绝大部分的数据格式都是pan...
2020-02-13 16:16:20
6425
11
原创 数据库知识总结
查询selectselect执行相对靠后，因为要从所有可能的列中选择as语句，对列进行重命名可对列加一些调料：字符（新增一列并重复）；表达式（加减乘数等）；调用内建函数去除重复行，select distinct columnfrom子句表的概念永久表：creat table 语句创建的表临时表：子查询所返回的表虚拟表：creat view子句创建的表，相当于一个视图。没有产生或存贮任何数据creat view table as (select语句）表连接from A inne
2020-12-16 19:37:25
198
原创 Python基础教程02-条件循环+抽象+对象+类
1 条件循环和其它语句1.1 print import使用逗号输出print('age',42)Out[1]:age 421.2 赋值魔法多个变量同时赋值x,y,z = 1,2,3print(x,y,z)values = 1,2,3valuesOut[1]: (1, 2, 3)x,y,z = valuesxOut[3]: 1链式赋值x = y = somefunction()增量赋值x = 2x +=1x *=1xOut[4]: 3#其它类型t =
2020-12-09 11:18:22
270
原创 Python基础教程01-列表+元组+字符串+字典
1 列表和元组1.1序列序列包含列表，元组，字符串索引number = [1,2,3,4,5,6,7]#选择最后一个number[-1]切片number = [1,2,3,4,5,6,7,8]#全选number[:]#选择步长，步长为2number[0:8:2]#步长为负的时候，从右往左提取元素number[6:0:-2]#从index为6到0，步长为2乘法'python'*5Out[29]: 'pythonpythonpythonpythonpython'成员
2020-12-02 16:17:29
156
原创 Sql语句-力扣Leetcode例题之一
1.第二高的薪水题目：第二高的薪水结题思路：首先用order by 排序，降序排列加上desc，再用distinct去重，得到薪水唯一值由高到低排列。再用limit num1 offset num2函数选择第二高的薪水。num2代表跳过的个数。注意：没有第二高时返回null，所以建一个临时表SELECT (SELECT DISTINCT Salary FROM Employee ORDER BY Salar
2020-11-27 17:04:20
297
原创 初认联邦学习—背景和框架介绍
1 背景介绍1.1 人工智能的遇到的困境（1）数据孤岛问题。一个AI项目可能涉及多个领域，需要融合各个公司、各个部门的数据。（比如研究居民线上消费问题，需要各个消费平台的数据，可能还需要银行数据等等）但在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的。（2）数据隐私问题。GDPR的出台，使得各方对数据所有权和隐私性的关注越来越多，对用户隐私和安全管理日趋严格，拿不到赖以生存的数据集。GDPR：2018年欧洲联盟出台《通用数据保护条例》。旨在保护用户的个人隐私和数据安全。用户可以删除或撤
2020-08-03 10:48:46
6742
2
原创 升级pip版本升级+conda修改清华源
pip版本pip show pipYou are using pip version 7.1.2, however version 10.0.1 is available.这句话的意思就是，你使用的pip版本为7.1.2，版本10.0.1可用。如果小伙伴在看到这样的提示之后，说明pip确实过于陈旧了。python -m pip install --upgrade pip...
2020-07-28 15:34:53
778
1
原创 两种方法 更改jupyter notebook的打开路径/默认工作路径
https://blog.csdn.net/qiuqiu1027/article/details/105472578
2020-07-28 10:56:11
888
原创 深度学习03—朴素贝叶斯决策+股价预测实例
贝叶斯决策论贝叶斯决策论（Bayesian decision theory）是在概率框架下实施决策的基本方法。在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。基本方法训练数据集：联合分布朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y)即先验概率分布：及条件概率分布：条件独立性假设“朴素”贝叶斯名字由来...
2020-04-19 20:57:36
4446
原创 机器学习02—决策树划分流程+三大算法比较+剪枝处理
决策树概述决策树是一种典型的分类方法 ，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树的优点1、推理过程容易理解，决策推理过程可以表示成If Then 形式； 2、推理过程完全依赖于属性变量的取值特点；3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。...
2020-04-07 16:03:16
1294
原创 机器学习01—模型评估与选择+F-R曲线+ROC曲线详解
经验误差与过拟合错误率: 错分样本的占比：E = a/m误差：样本真实输出与预测输出之间的差异训练(经验)误差：训练集上测试误差：测试集泛化误差：除训练集外所有样本由于事先并不知道新样本的特征，我们只能努力使经验误差最小化；很多时候虽然能在训练集上做到分类错误率为零，但多数情况下这样的学习器并不好。...
2020-04-06 17:04:00
1798
原创 数据库知识总结01—为什么要使用数据库+mysql有关的权限表+索引
结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询语言。为什么要使用数据库数据保存在内存优点： 存取速度快缺点： 数据不能永久保存数据保存在文件优点： 数据永久保存缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便数据保存在数据库1）数据永久保存2）使用SQL语句，查询方便效率高。3）管理数据方便数据库三大范式ht...
2020-04-05 16:15:53
226
原创 nltk.download()报错手动下载+from nltk.book import *介绍
NLTKNLTK 大概是最知名的Python自然语言处理工具了，在NLP领域中，最常使用的一个Python库。全称"Natural Language Toolkit", 诞生于宾夕法尼亚大学，以研究和教学为目的而生，因此也特别适合入门学习。NLTK是一个开源的项目，包含：Python模块，数据集和教程，用于NLP的研究和开发。NLTK包括图形演示和示例数据。其提供的教程解释了工具包支持的语言处...
2020-04-05 10:36:58
2809
2
原创 Python基础——seaborn用法及实例
直方图seaborn的displot()集合了matplotlib的hist()与核函数估计kdeplot的功能，增加了rugplot分布观测条显示与利用scipy库fit拟合参数分布的新颖用途。具体用法如下：seaborn.distplot(a, bins=None, hist=True, kde=True, rug=False, fit=None, hist_kws=None, kde_...
2020-03-30 16:08:06
1719
原创 深度学习16—LSTM拟合IMDB案例案例+实现英文自动写作
LSTM相关的网络层定义keras.layers.LSTM( # 长短期记忆网络层units : 正整数，输出空间的维度。activation = 'tanh' : 要使用的激活函数。recurrent_activation = 'hard_sigmoid' : 用于循环时间步的激活函数。use_bias = True : 布尔值，该层是否使用偏置向量。kernel_initia...
2020-03-27 17:11:30
772
原创 深度学习15-LSTM网络原理
在https://blog.csdn.net/qq_42871249/article/details/105044174介绍了RNN，这里继续介绍LSTM网络。背景介绍先回忆一下RNN循环神经网络RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。但是当相关信息和当前预测位置之间的间隔变得非常大，RNN 会丧失学习到连接如此远的信息的...
2020-03-26 15:13:27
231
原创 深度学习14—循环神经网络RNN实战+MNIST案例+IMDB案例
RNN相关的网络层定义循环层keras.layers.SimpleRNN( # 全连接的 RNN，其输出直接被反馈到输入。units : 正整数，输出空间的维度。activation = 'tanh' : 要使用的激活函数。use_bias = True : 该层是否使用偏置向量。kernel_initializer = 'glorot_uniform' : kernel权值矩阵的...
2020-03-24 16:25:27
678
原创 深度学习13—RNN循环神经网络原理
为什么需要RNN（循环神经网络）传统的神经网络的不足：传统的神经网络已经非常强大了，但有一个 特点是：他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如时间序列数据、文字序列等。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； ...
2020-03-23 14:48:11
292
原创 深度学习0—感知机+BP神经网络
感知机模型基本原理感知机的思想很简单，比如我们在一个平台上有很多的男孩女孩，感知机的模型就是尝试找到一条直线，能够把所有的男孩和女孩隔离开。放到三维空间或者更高维的空间，感知机的模型就是尝试找到一个超平面，能够把所有的二元类别隔离开。当然你会问，如果我们找不到这么一条直线的话怎么办？找不到的话那就意味着类别线性不可分，也就意味着感知机模型不适合你的数据的分类。使用感知机一个最大的前提，就是数据...
2020-03-21 11:19:50
422
原创 深度学习12-迁移学习+VGG16+cifar10案例
直接应用原模型预测导入模型导入函数：导入代码import keras# 读入完整的VGG16模型设定model = keras.applications.vgg16.VGG16(include_top = True, weights = 'imagenet', ...
2020-03-19 10:23:32
1161
原创 深度学习11— 为什么需要迁移学习？+迁移学习简介
为什么需要迁移学习？√ 使用深度学习技术解决问题的过程中，最常见的障碍在于，因为模型有大量的参数需要训练，因此需要海量训练数据作支撑。√ 在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。√ 借助迁移学习，在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题。迁移学习的应用是近低于有监督学习。迁移学习迁移学习就是把一个场景学习到的模...
2020-03-16 09:34:22
3489
原创 Python基础——datetime库+calendar日历库+实例分析+附完整代码
datetime是一个关于时间的库，主要包含的类有：date 日期对象，常用的属性有year，month，daytime 时间对象，hour，minute，second，毫秒datetime 日期时间对象，常用的属性有hour，minute，second，microsecondtimedelta 时间间隔，即两个时间点之间的长度...
2020-03-14 16:08:53
774
原创 深度学习10-经典深度学习模型简介二+VGG+ResNet+GooleNet
VGGhttps://my.oschina.net/u/876354/blog/16343222014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet，也是同年提出的）和定位项目的第一名。VGGNet探索...
2020-03-13 16:44:40
1287
原创 Python基础——matplotlib.pyplot中文手册+实例分析+附代码
https://www.jianshu.com/p/da385a35f68d
2020-03-11 17:19:50
4667
2
原创 深度学习08-图像预处理（图像数据扩充+图像缩放+流水在线处理+keras+cifar10案例）
1、缺少源数据对建模的影响如果缺少源数据只有对数据加工后的数据：将cifar10案例的自变量X部分都除以255.这里仅仅展示部分重要，全部代码在后面附上。X_train1 = X_train1.astype('float32') / 255X_test1 = X_test1.astype('float32') / 255这是最后的拟合效果：2、图像数据扩充定义所需的图像变换方法图...
2020-03-10 11:33:27
1431
原创 Python基础——Pandas库超详细介绍+实例分析+附代码
1、创建对象导入import pandas as pdimport numpy as np创建SeriesSeries = pd.Series(['a',3,np.nan,np.nan,6,0])Series创建一个时间索引datesdates = pd.date_range('2013-01-01',periods = 7)dates创建DataFramedf =...
2020-03-06 17:56:12
3605
1
原创 Python基础——Numpy库超详细介绍+实例分析+附代码
1、NumPy简介NumPy是高性能科学计算和数据分析的基础包，计算速度要比python自带的函数快很多，非常好用。一般不需要安装，装Python就自动装了，如果需要：pip3 install numpy然后导出import numpy as np2、常用方法...
2020-03-05 16:46:54
4731
4
原创 多重共线性——岭回归定义+岭迹分析+岭参数选择
1、岭回归的定义先看一个例子：x1、x2是给定的，模拟的方法产生10个正态随机数，作为误差项，见第（3）行。然后再由回归模型计算出10个y值。添加kk不是唯一确定的，下面是不同的k对应的参数值：图示：当k为0时，即普通线性回归，参数较大，k逐渐变大，B2由负变正，并且两参数的绝对值都变小，并且稳定下来。岭回归的参数是有偏估计2、岭迹分析3、岭参数k的选择用岭...
2020-03-04 18:05:02
9555
原创 多重共线性产生原因及处理办法+R语言+糖尿病数据案例分析+逐步回归法
1、多重共线性多重共线性一般是在（1）时间序列数据和（2）横截面数据中会发生。产生的影响（1）OLS得到的回归参数估计值很不稳定（2）回归系数的方差随共线性强度增加而增长（3）系数的正负号得不到合理的解释多重共线性的判定方法1、方差膨胀因子vif2、特征根判定法3、直观判定法：更加直观1.当增加或剔除一个自变量,或者改变一个观测值时,回归系数的估计值发生较大变化。2.从定性分...
2020-03-04 16:55:58
5978
11
原创 深度学习07-CIFAR-10数据集+简单的cnn模型+复杂的cnn模型+权重连接数详解
CIFAR-10数据集介绍CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但一些训练批次可能包含来自一个类别的图像比另一个更多。https://www...
2020-03-04 11:05:42
1646
原创 广义线性回归模型之定序回归（logit/probit回归）—R语言实现+苹果实体店客户满意度案例
定序回归什么是定序回归？定序回归的因变量是定序变量，数据类型是顺序数据。比如不满意，一般，满意；不合格，合格，优秀等。假设因变量是评分，先由单变量回归说起，则普通的线性回归模型为由于方程右边的普通线性回归，是连续性变量，方程左边是因变量分数，取值为1,2,3,4,5。左右两边数据类型不同，不能进行回归。我们考虑引入连续变量Z。先让Z进行普通线性回归。则Z和评分之间的关系如下：综上...
2020-02-29 16:32:12
13213
25
原创 广义线性回归模型之泊松回归（logit/probit回归）—R语言实现+仙客来数据集+交叉验证
Poisson回归模型Poisson回归也是广义线性回归模型中的一中，详细介绍可见之前的博客：https://blog.csdn.net/qq_42871249/article/details/104339650使用 Poisson回归模型时的两个问题由于广义线性模型的假定很强, 所以当实际数据与假定的分布不符时会产生一些问题. Poisson回归模型也不例外, 人们目前主要关注的是 以...
2020-02-28 16:51:00
5416
1
原创 深度学习06-卷积神经网络介绍+keras参数详解+mnist手写体案例cnn实现+层数详解
安装talibhttps://blog.csdn.net/u010671948/article/details/79714647
2020-02-28 10:08:11
673
1
原创 深度学习05-keras实例mnist手写数字识别实例分步骤详解
数据准备直接导入数据集mnist，把训练集和测试集导入。from keras.datasets import mnist(X_train,y_train),(X_test,y_test) = mnist.load_data()数据集介绍print('图像数据格式：',X_train.shape)print('训练集：%2.0f,测试集：%3.0f' % (X_train.shape[...
2020-02-26 10:11:37
552
原创 深度学习04-keras实例iris数据集+模型保存调用及修改+在sklearn框架内使用Keras模型+交叉验证
此篇代码接着上一篇，这里查看https://blog.csdn.net/qq_42871249/article/details/104456690模型的保存与载入先将模型保存的函数调出来，存贮为checkpointfrom keras.callbacks import ModelCheckpointcheckpoint = ModelCheckpoint(filepath = r'F:\...
2020-02-23 19:49:56
1044
原创 深度学习03-keras实例介绍iris数据集+sklearn对比+模型结果分析
数据准备导入数据from sklearn import datasetsiris = datasets.load_iris()type(iris)iris.data#四个自变量iris.target#目标变量对变量进行标准化from sklearn.preprocessing import StandardScalerscaler = StandardScaler()ir...
2020-02-23 17:55:14
1128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人