- 博客(66)
- 收藏
- 关注
RSS订阅原创 Python编程
Python编程学习input函数创建列表列表常用函数和方法删除元素修改列表元素查询列表元素位置列表常用操作元组字典（dict）集合运算程序流程控制语句if多路分支（else、elif）for 循环whilerange 函数breakcontinue函数创建并使用匿名函数面向对象编程绑定 self删除对象私有化方法生成迭代器返回迭代器继承父类属性和方法文件基础最后一次更新，要离开了pythoninput函数>>> zz=input()我心光明>>> zz'我
2021-04-26 11:07:21
644
1
转载 惊叹，Pyecharts绘制图表原来可以如此漂亮！
本文转载自公众号「杰哥的IT之旅」,作者旧时晚风拂晓城Pyecharts一、Pyecharts简介和安装二、绘制地理图表三、柱形图四、饼图五、环图六、玫瑰图七、词云图八、仪表盘九、水球图十、折线图十一、箱形图一、Pyecharts简介和安装1、简介Echarts 是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts 诞生了。简洁的 API 设计，使用如丝
2021-04-26 11:00:34
1624
原创 RBi Package---技术文档学习
RBi 技术文档1、Getting started2、The bi_model class3、Generating a dataset4、The `libbi` class5、Fitting a model to data using PMCMC6、Analysing an MCMC run7、Predictions8、Sample observations9、Filtering10、Plotting11、Saving and loading libbi objects12、Creating libbi
2021-04-26 11:00:03
328
原创 《动手学深度学习》tensorflow2.0版 第三章笔记
《动手学深度学习》tensorflow2.0版 第三章笔记线性回归训练图像分类数据集（Fashion-MNIST）训练误差（training error）和泛化误差（generalization error）。作为一名tensorflow新手，用最基本的函数去完成一些任务是必要的，即使现在pytorch如日中天，还是认为目前一段时间工业界对tensorflow的需求还是会有很多，但是鄙人特别擅长反向押宝????。文中的代码没有实测运行。线性回归训练只利用Tensor和GradientTape来实现一个
2021-04-11 17:05:32
743
原创 Copula,最小二乘法及lasso回归, 岭回归
Copula,最小二乘法及lasso回归, 岭回归Copula函数Sklar定理(1959)多元正态Copula函数多元t−Copulat-Copulat−Copula函数阿基米德Copula函数收缩方法(shrinkage method)最小二乘法岭回归lasso回归图Lasso方法的罚图模型之前讨论班准备的笔记，截取部分保存起来。Copula函数当边缘分布（marginal probability distribution）不同的随机变量（random variable），互相之间并不独立的时候，
2021-03-24 20:24:02
811
原创 Particle Filter 粒子滤波
Particle Filter 粒子滤波贝叶斯滤波重要性采样Sequential Importance Sampling (SIS) Filter重采样Sampling Importance Resampling Filter (SIR)人都喜欢自以为是。心外无事，就没事了。本文抄自:https://blog.csdn.net/heyijia0327/article/details/40899819贝叶斯滤波假设有一个系统,我们知道它的状态方程和测量方程如下状态方程:xk=fk(xk−1,vk−
2021-03-24 20:01:22
150
原创 Transformer初步理解
初步理解TransformerTransformer结构图详细一点的结构图更详细一点的结构图Encoder的结构图Decoder的结构如图所示每个结构更加详细的解释：1、对输入进行Embedding特征化2、输入在Encoder层3、**Self-Attention 解释**1). Q,K,VQ,K,VQ,K,V的由来2). 步骤3、4、5 图示4、Multi-Head AttentionMulti-Head Attention全图为5、Encoder-Decoder Attention6、Residual
2021-03-13 16:24:34
283
1
原创 Hamiltonian Monte Carlo抽样算法的初步理解
Hamiltonian Monte Carlo抽样算法的初步理解接受拒绝采样算法MCMC回顾Hamiltonian dynamics拉格朗日方程从牛顿方程出发推导拉格朗日方程哈密顿方程哈密顿函数HMCHamiltonian dynamics的直观认识:哈密顿方程运动方程哈密顿动力学的性质可逆性Hamiltonian不变保持体积Symplecticness(辛)局部和总体误差MCMC from Hamiltonian dynamicsProbability and the Hamiltonian — cano
2021-03-07 16:47:25
962
原创 《特征工程入门与实践》--特征理解
特征理解《特征工程入门与实践》–特征理解结构化（有组织）数据：可以分成观察值和特征的数据，一般以表格的形式组织（行是观察值，列是特征）。非结构化（无组织）数据：作为自由流动的实体，不遵循标准组织结构（例如表格）的数据。通常，非结构化数据在我们看来是一团数据，或只有一个特征（列）。定量数据本质上是数值，应该是衡量某样东西的数量。定性数据本质上是类别，应该是描述某样东西的性质。# 导入探索性数据分析所需的包# 存储表格数据import pandas as pd# 数学计算包import nu
2021-02-16 13:49:53
447
1
原创 《特征工程入门与实践》--特征增强
特征增强：清洗数据特征增强识别数据中的缺失值Seaborn可视化工具：删除有害的行填充缺失值在机器学习流水线中填充值标准化和归一化zzz分数标准化min-max标准化行归一化《特征工程入门与实践》–特征增强识别数据中的缺失值# 导入探索性数据分析所需的包import pandas as pd # 存储表格数据import numpy as np # 数学计算包import matplotlib.pyplot as plt # 流行的数据可视化工具import seaborn as sns
2021-02-16 13:47:25
753
1
原创 《特征工程入门与实践》--特征构建
特征构建检查数据集自定义分类填充器编码分类变量定序等级的编码将连续特征分箱扩展数值特征针对文本的特征构建词袋法CountVectorizerTF-IDF向量化器我们会探讨如下主题：检查数据集；填充分类特征；编码分类变量；扩展数值特征；针对文本的特征构建。检查数据集为了进行演示，本章会使用我们自己创建的数据集，以便展示不同的数据等级和类型。我们先设置数据的DataFrame。用Pandas创建要使用的DataFrame，这也是Pandas的主要数据结构。这样做的优点是可以用很多属性和方法
2021-02-15 23:38:04
691
原创 《特征工程入门与实践》--特征选择
特征选择元指标特征选择的类型:基于统计的特征选择皮尔逊相关系数假设检验基于模型的特征选择使用机器学习选择特征针对基于树的模型线性模型和正则化《特征工程入门与实践》 -特征选择元指标元指标是指不直接与模型预测性能相关的指标，它们试图衡量周遭的性能，包括：模型拟合/训练所需的时间；拟合后的模型预测新实例的时间；需要持久化（永久保存）的数据大小。为了跟踪这些指标，我们可以创建一个get_best_model_and_accuracy函数以评估若干模型，同时精细到可以提供每个模型的指标
2021-02-15 19:40:43
690
原创 《特征工程入门与实践》--- 特征学习
《特征工程入门与实践》— 特征学习以AI促AI吐血整理《特征工程入门与实践》这本书之前已经看了一遍，这次打算从总结的角度从后往前再读此书，重点在梳理框架，区分不同，标注必须要掌握的基本代码。一、首先是特征理解，从以下几点切入特征理解：结构化数据与非结构化数据数据的四个等级识别数据的缺失值探索性数据分析描述性统计数据可视化二、接着是特征增强：清洗数据对非结构化数据进行结构化数据填充–填充缺失数据数据归一化标准化（z分数标准化）min-max标准化L1和L2正则化（将数
2021-02-13 01:30:42
1497
1
原创 端到端的机器学习项目
端到端的机器学习项目 一、关于RMSE和MAE的理解二、快速查看数据结构三、创建测试集四、地理数据可视化可视化参数查找关联五、数据清洗pandas的dropna()函数pandas的drop函数Imputerfit(),transform(),fit_transform()Scikit-Learn 设计六、处理文本和类别属性reshape七、自定义转换器八、特征缩放九、流水线十、网格搜索https://dl.apachecn.org/#/docs/hands-on-ml-2e-zh/2本篇涉及到的方法比
2021-02-11 00:46:33
385
2
原创 卷积神经网络结构发展概览
卷积神经网络发展概览 一、早期探索LeNetAlexNetVGG二、深度化ResNetDenseNet三、模块化GoogLeNetInception V2Inception V3Inception V4ResNeXtXception四、注意力SENetscSECBAM五、高效化SqueezeNetMobileNetShuffleNet六、自动化NASNetEfficientNet卷积神经网络的结构发展概述，主要包括：早期探索：Hubel实验、LeNet、AlexNet、ZFNet、VGGNet深度
2021-02-05 18:50:49
1694
原创 回归模型 python实现
python 机器学习 (四)、回归预测1、线性回归器step1：美国波士顿地区房价数据描述step2：美国波士顿地区房价数据分割step3：训练与测试数据标准化处理step4：使用线性回归模型LinearRegression 和 SGDRegressor分别对数据进行学习和预测step5：使用三种回归评价机制对模型回归能力进行评价2、支持向量机(回归)step1：使用三种不同核函数配置的支持向量机模型进行训练，并作出预测step2：对三种核函数配置下的支持向量机回归模型在相同测试集上进行性能评估3、kkk
2021-01-08 21:51:38
3300
原创 决策树及集成模型 python实现
python机器学习1、决策树step1：泰坦尼克号乘客数据库step2：使用决策树模型预测泰坦尼克号乘客的生还情况step3：决策树模型对泰塔尼克乘客是否生还的预测性能2、集成模型step1：使用集成模型对泰坦尼克号乘客是否生还的预测step2：集成模型对泰塔尼克乘客是否生还的预测性能1、决策树step1：泰坦尼克号乘客数据库# 导入pandas用于数据分析。import pandas as pd# 利用pandas的read_csv模块直接从互联网收集泰坦尼克号乘客数据。titanic =
2021-01-08 20:42:09
418
原创 支持向量机，朴素贝叶斯，k近邻(分类) python实现
Python 机器学习(二） 支持向量机，朴素贝叶斯，k 近邻(分类) python实现1、 支持向量机(分类）step1：手写体数据读取代码样例# 从sklearn.datasets里导入手写体数字加载器。from sklearn.datasets import load_digits# 从通过数据加载器获得手写体数字的数码图像数据并储存在digits变量中。digits = load_digits()# 检视数据规模和特征维度。digits.data.shape(1797L, 6
2021-01-08 20:08:36
663
原创 逻辑回归及 SGDC python 实现
Python 机器学习(一）Logistic Regression，SGDC应用于预测Tips线性关系：f(w,x,b)=wTx+bf(\boldsymbol{w},\boldsymbol{x},b) = \boldsymbol{w}^T\boldsymbol{x}+bf(w,x,b)=wTx+bLogistic函数：g(z)=11+e−z g(z)= \frac{1}{1+e^{-z}}g(z)=1+e−z1整合上面两式子得到 Logistic Regression:h(w,b)(x)=
2021-01-08 17:50:12
539
原创 数据标准化与归一化探索
About Feature Scaling and Normalization对特征的标准化使得特征重新度量（rescaled）具有性质均值为 μ=0\mu=0μ=0以及标准方差为 σ=1\sigma=1σ=1变换的形式为：z=x−μσz=\frac{x-\mu}{\sigma}z=σx−μ对特征进行标准化，使其以0为中心，标准差为1，这不仅在我们比较不同单位的测量值时很重要，而且也是很多机器学习算法的一般要求。直观上，我们可以认为梯度下降是一个突出的例子(一种优化算法，常用于logis.
2020-12-20 14:15:09
249
原创 C语言基本语法复习（二）
C语言基本语法复习（二）函数全局变量和局部变量全局变量局部变量函数的嵌套调用函数的递归调用指针指针变量指针与数组引用单点测试与多点测试函数基本语法格式：返回类型 函数名称（参数类型 参数）{ 函数主体}全局变量和局部变量全局变量指在定义之后的所有程序段内都有效的变量(即定义在所有函数之前)#include<stdio.h> int x; void change(){ x=x+1; } int main(){ x=10; chang
2020-12-20 13:58:59
223
原创 C语言基本语法复习（一）
C语言基本语法复习（一）输入输出细节数学函数冒泡排序法：定义数组的各种方式sscanf与sprintf （stdio.h头文件下）输入输出细节#include<stdio.h>int main(){ int a,b; scanf("%d%d",&a,&b); printf("%d",a+b); return 0;}两个常用的转义字符 "\n "表示换行 “\0” 代表空字符NULL#include<stdio.h>
2020-12-19 12:14:45
1130
1
原创 马尔可夫链蒙特卡洛（Markov Chain Monte Carlo）
MCMC方法的许多应用是关于贝叶斯统计分析问题的，这些贝叶斯统计分析中常常需要计算后验分布的一些数字特征，如后验期望、后验方差、后验众数、后验分位数等。蒙特卡洛抽样方法\textbf{蒙特卡洛抽样方法}蒙特卡洛抽样方法设 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ)表示样本的概率函数（或称为参数θ\thetaθ 的似然函数), π(θ)\pi(\theta)π(θ)...
2020-05-01 12:45:42
1665
原创 粒子滤波算法
本文为《蒙特卡罗方法理论和应用》笔记1.动态空间模型\textbf{1.动态空间模型}1.动态空间模型动态空间模型包括过程模型和观测模型，分别由状态方程和观测方程描述，状态方程和观测方程为：x(t)=a(x(t−1),u(t))y(t)=b(x(t),v(t))\begin{aligned} \boldsymbol{x}(t) &=a(\boldsymbol{x}(t-1), \b...
2020-05-01 11:47:41
464
转载 Kalman滤波
来自：https://www.cnblogs.com/ycwang16/p/5999034.html虽然Kalman滤波器已经被广泛使用，也有很多的教程，但我们在Bayes滤波器的框架上，来深入理解Kalman滤波器的设计，对理解采用Gaussian模型来近似状态分布的多高斯滤波器(Guassian Multi-Hyperthesis-Filter)等都有帮助。一. 背景知识回顾\t...
2020-05-01 11:30:31
518
转载 贝叶斯滤波(Bayes filters)
细说贝叶斯滤波：Bayes filters(一)概率论公式全概率公式：离散情况下：p(x)=∑yp(x,y)=∑yp(x∣y)p(y)p(x)=\sum_{y}p(x,y)=\sum_{y} p(x|y)p(y)p(x)=y∑p(x,y)=y∑p(x∣y)p(y)连续情况下：p(x)=∫p(x,y)dy=∫p(x∣y)p(y)dyp(x)=\int p(x,y)dy=\int ...
2020-05-01 10:59:57
694
转载 EM算法及混合高斯模型
EM算法及其应用目录：一、极大似然估计二、混合高斯模型及其求解困境三、EM算法四、EM算法应用于高斯混合模型一、极大似然估计考虑一个高斯分布 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ), 其中θ=(μ,Σ)\theta=(\mu,\Sigma)θ=(μ,Σ). 样本集X={x1,...,xN}X=\{x_1,...,x_N\}X={x1,...,xN}中每个...
2020-05-01 10:39:38
373
原创 贝叶斯统计推断笔记
目录：一、贝叶斯点估计二、区间估计三、 假设检验四、预测推断五、假设检验与模型选择六、贝叶斯模型评价一、贝叶斯点估计条件方法后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)是在样本xxx给定下θ\thetaθ的条件分布，基于后验分布的统计推断就意味着只考虑已出现的数据（样本观测值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法被...
2020-05-01 10:16:57
1980
原创 Mac平台下修改Jupyter默认目录及终端下运行命令 jupyter notebook 出现 command not found
mac OS平台下修改Jupyter默认目录在终端运行命令：jupyter notebook --generate -config，（注意generate前面是–，英文状态下的减号两个；后面的那个“-”前后都没有空格）得到/Users/XXXX/.jupyter/jupyter_notebook_config.py路径（"XXXX"为具体用户名）其中jupyter_notebook_conf...
2019-08-29 04:18:34
3190
原创 第七章 图（三）图算法的应用
图的遍历(深度优先搜索和广度优先搜索)一、DFS（深度优先搜索）#include<iostream>#include<iomanip>#include<string.h>#include<math.h>#include<malloc.h>using namespace std;#define MaxVertexNum 10...
2019-07-13 17:51:09
334
原创 自编码器
自编码器是一种基于无监督学习的数据维度压缩和特征表达方法。多层自编码器能够更好地进行压缩及特征表达。本部分介绍自编码器及其变种，如降噪自编码器、稀疏自编码器，以及由多层自编码器组成的栈式自编码器.自编码器自编码器(autoencoder)(\text{autoencoder})(autoencoder)是一种有效的数据维度压缩算法，主要应用在以下两个方面构建一种能够重构输入样本并进行特征表...
2019-07-13 09:39:17
678
原创 受限玻尔兹曼机
受限玻尔兹曼机起源于图模型的神经网络。这种神经网络是由Hopfield\text{Hopfield}Hopfield神经网络那样的相互连接型网络衍生而来的。本部分首先介绍Hopfield\text{Hopfield}Hopfield神经网络和玻尔兹曼机，然后介绍受限玻尔兹曼机，最后介绍由多个受限玻尔兹曼机堆叠组成的深度信念网络。Hopfield\text{Hopfield}Hopfield神经网...
2019-07-12 23:30:03
266
原创 卷积神经网络
《图解深度学习》笔记卷积神经网络由输入层(input layer)、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)和输出层(output layer)组成，如下图所示。 卷积层 卷积神经网络中的卷积操作可以看作是输入样本和卷积核的内积运算。在第一层卷积层对输入样本进行卷积操...
2019-07-12 22:15:12
545
原创 神经网络可以计算任何函数以及难以训练原因
《Neural Networks and Deep Learning》(五)笔记神经网络可以计算任何函数的可视化证明神经网络的一个最显著的事实就是它可以计算任何的函数，也就是说对定某种复杂而奇特的函数f(x)f(x)f(x)，不管这个函数是什么样的，总会确保有一个神经网络能够对任何可能的输入xxx，其值f(x)f(x)f(x)是网络的输出。 神经网络具有一种普遍性，不论我们想要...
2019-07-11 20:36:02
1170
原创 改进神经网络学习方法-柔性最大值、L规范化以及其他技术
改进神经网络学习方法-柔性最大值、L规范化方法以及其他技术《Neural Networks and Deep Learning》(四)笔记柔性最大值（softmax\text{softmax}softmax）柔性最大值是为神经网络定义一种新式的输出层。开始是和SSS型层一样，首先计算带权输入zjL=∑kwjkLakL−1+bjLz_{j}^{L}=\sum_{k} w_{j k}^{L} a...
2019-07-11 20:03:02
904
原创 改进神经网络学习方法——交叉熵代价函数
交叉熵代价函数改进神经网络学习方法——交叉熵代价函数《Neural Networks and Deep Learning》笔记对二次代价函数：C=(y−a)22(1)C=\frac{(y-a)^{2}}{2} \qquad(1)C=2(y−a)2(1) aaa是神经元的输出，训练输入为x=1,y=0x=1,y=0x=1,y=0我们有a=σ(z)a=\sigma(z)a=σ(z)，其中z...
2019-07-09 12:20:23
612
原创 神经网络-误差反向传播算法(二)
误差反向传播算法首先定义神经网络中的一些重要参数wjklw^{l}_{jk}wjkl:表示从(l−1)th(l-1)^{\mathrm{th}}(l−1)th层的第kthk^{\mathrm{th}}kth个神经元到 lthl^{\mathrm{th}}lth层的第jthj^{\mathrm{th}}jth个神经元的连接权重，如下图所示 bjlb_{j}^{l}bjl：表示...
2019-07-08 19:17:34
724
原创 神经网络入门
神经网络与深度学习(Michael Nielsen)\text{(Michael Nielsen)}(Michael Nielsen)笔记（一）1. 感知器工作原理 一个感知器接受几个二进制输入，x1,x2,…x_{1}, x_{2}, \dotsx1,x2,…，并产生一个二进制输出。上图中，感知器有三个输入x1,x2,x3x_{1}, x_{2}, x_{...
2019-07-08 13:33:08
123
原创 神经网络-误差反向传播算法(一)
图解深度学习笔记误差反向传播算法一、单层感知器期望输出rrr和网络的实际输出yyy计算最小二乘误差函数 EEE连接权重www 、η\etaη 表学习率 、 sigmoid\text{sigmoid}sigmoid函数作为激活函数f(u)f(u)f(u)单层感知器：∂E∂wi=∂E∂y∂y∂wi(1)\frac{\partial E}{\partial w_{i}}=\frac{\par...
2019-07-07 23:37:46
2885
原创 隐马尔可夫模型(二)
马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习和非监督学习实现。本部分首先介绍监督学习，后介绍非监督学习Baum-Welch算法监督学习方法假设已给训练数据包含sss个长度相同的观测序列和对应的状态序列{(O1,I1),(O2,I2),⋯ ,(Os,Is)}\left\{\left(O_{1}, I_{1}\rig...
2019-07-07 20:23:40
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人