- 博客(33)
- 收藏
- 关注
原创 hmmlearn之MultinomialHMM 离散隐马尔科夫模型
【代码】hmmlearn之MultinomialHMM 离散隐马尔科夫模型。
2022-11-02 19:30:57
2143
18
原创 K近邻算法(k-Nearest Neighbour, KNN)
KNN算法思想k-最近邻(k-Nearest Neighbour, kNN)算法是一种常用的监督学习方法,其工作机制非常简单靠近的 个训练样本,然后基于这 个"邻居 “的信息来进行预测 在分类任务中可使用"投票法” 即选择这 个样本中出现最多的类别标记作为预测结果;在回归任务中时使用"平均法" ,即将 个样本的实值输出标记平均值作为预测结果;还可基于距离远近进行加权平均或加权投票,距离越近的样本权重越大.是一种基于距离的分类算法,不需要事先建立分类模型,仅利用有类别标号的样本集,直接对没有类
2022-04-24 12:41:43
2778
原创 数据挖掘——序列模式挖掘
《数据挖掘》青岛大学数据挖掘之序列模式挖掘时间序列:将某一指标在不同时间上的不同数值,按照时间先后顺序排列而成的数列。时间序列的建模方法:一元时间序列:通过单变量随机过程的观察获得规律性信息。多元时间序列:通过多个变量描述变化规律。离散型时间序列:序列中的每一个序列值所对应的时间参数为间断点。连续型时间序列:序列中的每个序列值所对应的时间参数为连续函数。序列模式挖掘:从序列数据集中寻找频繁子序列作为模式的知识发现过程。• 序列模式挖掘最早是由Agrawal等人提出的,最初动机是针对
2022-04-21 17:33:40
7164
原创 使用高德地图API进行坐标转换:WGS84→GCJ02
# 高德地图坐标转换json页面样例:{"status":"1","info":"ok","infocode":"10000","locations":"29.995198,121.604743"}import requestsimport jsonimport pandas as pddef url(lat,lng,ak): url = 'https://restapi.amap.com/v3/assistant/coordinate/convert?locations='+str(l
2022-04-20 23:36:36
3833
原创 数据处理代码记录
轨迹数据处理1. 文件读取(1) 单个文件读取或输出import pandas as pddf1 = pd.read_csv("文件地址\文件名称.csv",header=0,index_col=0,usecols=[1,2,3]) # 指定表头、序号列、使用的列df2 = pd.read_excel("文件地址\文件名称.xls/xlsx",sheetname=0,header=0,index_col=0) # 指定读取的sheetdf1.to_csv("文件地址\文件名称.csv")df
2022-04-20 23:12:48
1896
原创 python os库的使用
import os# 获取当前文件路径os.getcwd()print(os.getcwd())# 获取上一级文件路径os.path.dirname(os.getcwd())print(os.path.dirname(os.getcwd()))# 建立同级文件os.path.join(os.path.dirname(os.getcwd()),'test') # 先获取上级目录,然后通过join函数来把同级的目录test拼进来。# 获取当前目录下所有文件名os.listdi
2022-04-18 20:38:40
475
原创 数据挖掘——关联规则挖掘
《数据挖掘》国防科技大学《数据挖掘》青岛大学数据挖掘之关联规则挖掘关联规则挖掘(Association Rule Mining)最早是由Agrawal等人提出。最初的动机是解决购物篮分析(Basket Analysis)问题,目的是发现交易数据库(Transaction Database)中不同商品之间的联系规则。定义关联规则是描述在一个交易中物品之间同时出现的规律的知识模式,更确切的说,关联规则是通过量化的数字描述物品X的出现对物品Y的出现有多大的影响。关联分析 association ana
2022-04-17 17:07:38
10329
原创 数据挖掘——聚类
《数据挖掘》国防科技大学《数据挖掘》青岛大学《数据挖掘与python实践》数据挖掘之聚类1. 划分聚类K-means每次聚类保证局部最优,随后调整聚类,利用局部最优聚类的上限来不断逼近全局最优。采用距离作为相异度的评价指标,以簇内差异函数w©作为聚类质量的优化目标函数,即将所有数据对象到它的簇中心点的距离平方和作为目标函数,算法寻找最优聚类的策略是使目标函数达到最小值(簇中心不变化等价于w©达最小)。优点:① k-means算法简单、经典,常作为其它聚类算法的参照或被改进。② k
2022-04-11 21:13:35
7202
原创 数据挖掘 / 机器学习——决策树
第四章 决策树一、概述1. 任务属性分类任务2. 结构根结点:样本全集内部结点:表示一个特征或属性叶结点:表示一个类3. 基本算法4. 生成过程决策树的生成是一个递归过程。有三种情形会导致递归返回:①当前结点包含的样本全属于同一类别,无需划分;②当前属性集为空,或是所有样本在所有属性上取值相同,无法划分;【把当前结点标记为叶结点,将其类别设定为该结点包含样本最多的类别-利用当前结点的后验分布】③当前结点包含的样本集合为空,不能划分。【把当前结点标记为叶结点,但将其类别设定为其父节点所含
2022-04-11 20:41:28
4279
原创 数据挖掘——逻辑回归
《数据挖掘》国防科技大学数据挖掘之逻辑回归回归问题 Regression回归分析是研究一个或多个自变量与一个因变量之间是否存在某种线性关系或非线性关系的一种统计学方法。线性回归多项式回归逻辑回归决策树回归线性回归一元线性回归:y = a + bx线性关系刻画(点到直线的距离)点到直线的距离公式(垂直距离)点到直线的纵向距离(竖直距离)最小二乘法逻辑回归参数估计正则化w在数值上越小与能抵抗数据的扰动。优化优化求解梯度下降法梯度的本意是一个向量
2022-04-11 10:16:34
639
原创 数据挖掘——朴素贝叶斯分类
《数据挖掘》国防科技大学《数据挖掘》青岛大学Python:贝叶斯分类贝叶斯分类基于贝叶斯定理,是机器学习的核心方法之一。目前研究较多的贝叶斯分类器主要有四种:朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)TANBANGBN数据挖掘之朴素贝叶斯分类• 朴素贝叶斯分类器有坚实的数学基础,以及稳定的分类效率。同时,此模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单。贝叶斯定理最终的目标就是求得p(类别|特征) 。• 朴素贝叶斯中的朴素就是
2022-04-10 20:41:52
2436
原创 数据挖掘——数据预处理
《数据挖掘》国防科技大学《数据挖掘》青岛大学《数据挖掘与python实践》数据挖掘之数据预处理1. 数据清洗 Data Cleaning数据清洗:缺失值、噪声数据、离群点、不一致数据(1)对于丢失数据:忽略元组(对象),特别是缺少类标签时删除缺失值比例较大的属性手动补全:麻烦自动插值:均值、众数等(2)对于噪声数据和离群点:识别噪声数据并去除:聚类、回归使用箱线图检测离群点并删除平滑噪音以降低噪声数据的影响:分箱法binning、概念分层分箱法: 按箱平均值平滑 按箱
2022-04-09 21:14:08
6890
原创 数据挖掘——认识数据
《数据挖掘》国防科技大学《数据挖掘》青岛大学《数据挖掘与python实践》数据挖掘之认识数据1. 数据和信息**数据(data)**是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。在计算机系统中,各种字母、数字符号的组合、语音、图形、图像等统称为数据,数据经过加工后就成为信息。2. 数据对象及属性类型数据集由数据对象组成,一个数据对象对应一个实体,数据对象也可以成为元组。用于表示数据对象的特征或功能的数据字段称为属性。属性类型:标称属性 nomin
2022-04-09 16:41:49
3327
原创 Python进阶教程【微软】
微软官方python进阶教程1. 代码格式化格式化指南:PEP 8要点:四个空格而不是Tab变量命名:variable_name √ ,variableName or VariableName ×避免无用的空格:‘good’: 42 √ 单引号和冒号中间无空格,冒号后要加一个空格学会使用Linter工具,pylint类型提示 错误提示等pip install pylint三引号python中的三引号可以创建多行文本字符串,但是如果没有传入参数或者变量,就会变成有效的多行
2021-08-13 15:01:22
701
原创 Python入门课程[微软官方+廖雪峰]
课程:微软官方 Python 入门教程1. 输入输出print() 输出# 输出字符串,单双引号都可用,注意统一print("Hello World")print('Hello World')# 输出空行print()# \n 自动换行print("Hello \nWorld")用print()函数debuginput() 输入2. 注释 comments# 单行注释3. 字符串变量命名不用声明!!!直接给一个变量并赋值就ok操作可以直接相加first_nam
2021-08-10 16:07:09
1090
原创 excel根据单元格内容设定行列颜色
1. 根据单元格内容设定单元格颜色 【开始】-【条件格式】-【突出显示单元格规则】-【选择规则】-【设置样式】2. 根据单元格内容设定所在行/列内容【开始】-【条件格式】-【新建规则】-【是用公式确定...】-【值】-【样式】...
2021-07-15 16:24:19
5275
原创 excel的相对引用和绝对引用
A1是相对引用$A1绝对引用列 是混合引用 列不变A$1绝对引用行 是混合引用 行不变$A$1绝对引用行和列 是绝对引用 行列都不变$在谁的前面就绝对引用谁F4是在四种引用间相互转换的快捷键(在编辑栏输入公式时按下F4功能键可进行切换)A1(相对引用)在下拉拖动引用时,会变成引用A2,A3,A4...,右拉拖动时引用变成B1,C1,D1....A$1(混合引用,绝对应用行)当你下拉复制时想保证引用的只是A1单元格时,A1就要加$符号,成A$1,这样在下拉时
2021-07-15 16:09:35
1186
原创 通过设置关联菜单建立excel记账本
一、建立多个sheet,用于存储账目分类及不同的记账本。(一)设置账目分类(二)在各个账本中设置好表头二、设置一二级账目类别关联(一)账目分类:【公式】-【指定名称】-【首行】(二)账目分类:【公式】-【名称管理器】-【新建名称】-【大类、工作簿(一定要选工作簿!!!)、引用位置选择账目大类】-【确定】(三)日常账单:选中大类所在列-【数据】-【有效性】-【允许:序列】-【来源:"=大...
2021-07-15 10:24:30
418
原创 Pandas库学习
一、Pandas是什么Pandas 是 Python 语言的一个扩展程序库,用于数据分析。Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算)。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。Pandas 可以对各种数据进行运算操作,比如归并、再成形、选择,还有数据清洗和数据加工特征。二、Pandas 的安装和使用pip install pandas # 通过pip命令安装import pand
2021-07-14 21:09:50
1913
翻译 【机器学习】Scikit-learn介绍
一、Scikit-learn简介Scikit-learn是一个支持有监督和无监督学习的开源机器学习库。它还为模型拟合、数据预处理、模型选择和评估以及许多其他实用程序提供了各种工具。二、 拟合和预测:估算器基础 Fitting and predicting: estimator basics(一)estimatorestimators:sklearn提供的内置的机器学习算法和模型,统称为估计器。每个估计器都可以用它的拟合方法fit来拟合某些数据。(二)fit方法fit方法通常接受两个输入:样本矩
2021-07-12 19:54:02
2973
2
原创 《PyTorch深度学习实践》Lecture_11 卷积神经网络进阶 Convolutional Neural Network
B站刘二大人老师的《PyTorch深度学习实践》Lecture_11 GoogLeNet+Lecture_11 卷积神经网络进阶 Convolutional Neural NetworkGoogLeNet要善于找到复杂代码中相同的模块写成函数/类→Inception ModuleInception Module不知道哪个效果好,所以使用多种卷积进行堆叠,通过训练将好的增加权重,不好的降低权重暴力枚举每种超参数,使用梯度下降自动选出最合适的注意每条路的输入输出要一致1x1 co
2021-03-30 00:20:06
302
原创 《PyTorch深度学习实践》Lecture_10 卷积神经网络基础 CNN
B站刘二大人老师的《PyTorch深度学习实践》Lecture_10 重点回顾+代码复现Lecture_10 卷积神经网络 Convolutional Neural Network一、重点回顾(一)卷积神经网络的结构(二)卷积层:特征提取1. 单输入通道滤波器filter/卷积核kernel在输入图像上滑动,遍历,并做数乘运算(对应元素相乘)再相加【即互相关运算】得到输出。2. 多输入通道输出通道的高和宽 = 输入通道的高和宽 - 卷积核的高和宽 + 1卷积核通道数 = 输入通
2021-03-29 21:21:49
415
原创 《深度学习[Pytorch]》整理02 卷积神经网络
卷积神经网络(Convolutional Neural Network, CNN)卷积神经网络(Convolutional Neural Network, CNN)是受生物学上感受野机制的启发而提出的。卷积神经网络一般是由卷积层、池化层和全连接层交叉堆叠而成的前馈神经网络。全连接层一般在卷积网络的最顶层。卷积神经网络有三个结构上的特性:局部连接、权重共享以及池化。这些特性使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比,卷积神经网络的参数少。感受野(Receptive Fie
2021-03-17 22:08:29
589
原创 《深度学习[Pytorch]》整理01 前馈神经网络——全连接前馈神经网络
前馈神经网络(Feedforward Neural Network, FNN)◼ 第0层为输入层,最后一层为输出层,其他中间层称为隐藏层◼ 信号从输入层向输出层单向传播,整个网络中无反馈,可用一个有向无环图表示手动实现前馈神经网络模型设计代码实现...
2021-03-06 11:10:14
3190
原创 《PyTorch深度学习实践》Lecture_09 多分类问题 Softmax Classifier
[B站刘二大人老师的《PyTorch深度学习实践》Lecture_09(https://www.bilibili.com/video/BV1Y7411d7Ys?p=9) 重点回顾+代码复现Lecture_09 多分类问题 Softmax Classifier一、重点回顾(一)Softmax Layer通过softmax层,使得各项输出>0,且和为1。softmax层的计算如下:举个例子:(二)Loss Function - Cross EntropyCross Entropy in N
2021-02-26 21:03:45
325
2
原创 《PyTorch深度学习实践》Lecture_08 加载数据集 Dataset and DataLoader
[B站刘二大人老师的《PyTorch深度学习实践》Lecture_08(https://www.bilibili.com/video/BV1Y7411d7Ys?p=8) 重点回顾+代码复现Lecture_08 加载数据集 Dataset and DataLoader一、重点回顾(一)三个术语:Epoch, Batch-Size, IterationsEpoch:对所有的训练数据进行一次正向传播和反向传播Batch-Size:每次正向和反向传播的训练样本数Iteration:训练(即权重更新)的
2021-02-22 22:39:19
205
原创 《PyTorch深度学习实践》Lecture_07 处理多维特征的输入 Multiple Dimension Input
[B站刘二大人老师的《PyTorch深度学习实践》Lecture_07(https://www.bilibili.com/video/BV1Y7411d7Ys?p=7) 重点回顾+手记+代码复现+报错解决Lecture_07 处理多维特征的输入 Multiple Dimension Input一、重点回顾(一)Multiple Dimension Logistic Regression Model...
2021-02-22 21:34:38
232
原创 《PyTorch深度学习实践》Lecture_06 逻辑回归 Logistic Regression
B站刘二大人老师的《PyTorch深度学习实践》Lecture_06 重点回顾+代码复现Lecture_06 逻辑回归 Logistic Regression一、重点回顾
2021-02-06 17:18:11
517
1
原创 《PyTorch深度学习实践》Lecture_05 用Pytorch实现线性回归 Linear Regression with PyTorch
B站刘二大人老师的《PyTorch深度学习实践》Lecture_05 重点回顾+代码复现Lecture_05 用Pytorch实现线性回归 Linear Regression with PyTorch一、重点回顾用Pytorch实现线性回归的四大步骤(一)数据集准备 Prepare Datasetimport torchx_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[2.0], [4.0], [6.0]])
2021-02-04 16:07:11
283
原创 《PyTorch深度学习实践》Lecture_04 反向传播 Back Propagation
B站刘二大人老师的《PyTorch深度学习实践》Lecture_04 重点回顾+手记+代码复现+知识补充Lecture_04 反向传播 Back Propagation一、重点回顾(一)计算图 Computational Graph1. 简单网络的梯度计算(1)线性模型的计算图实例2. 复杂网络的梯度计算(1) 两层神经网路(2)存在问题(3)问题解决(二)链式法则 Chain Rule(1)使用链式法则进行梯度计算(2)使用链式法则进行梯度计算实例二、手记三、
2021-02-02 00:20:54
299
1
原创 《PyTorch深度学习实践》Lecture_03 梯度下降 Gradient Descent
刘二老师的《PyTorch深度学习实践》Lecture_03 重点回顾+手记+代码复现Lecture_03 梯度下降 Gradient Descent梯度的方向是函数变化最快的方向,梯度的负方向是函数下降最快的方向。一、重点回顾(一)(批量)梯度下降 (Batch) Gradient Descent(二)随机梯度下降 Stochastic Gradient Descent注意:批量梯度下降的是用所有的样本进行迭代。 而随机梯度下降是每次随机抽取一个样本进行迭代。(三)小批量随机梯度下降
2021-01-29 23:52:39
260
原创 《PyTorch深度学习实践》Lecture_02 线性模型
[刘二老师的《PyTorch深度学习实践》Lecture_02](https://www.bilibili.com/video/BV1Y7411d7Ys?p=2) 重点回顾+代码复现
2021-01-29 17:16:37
137
原创 PyTorch 张量
张量张量是深度学习框架中最核心的组件,Tensor 实际上就是一个多维数组。在PyTorch中,torch.Tensor 是存储和变换数据的主要工具。(与Numpy的多维数组类似)(一)创建张量 torch.Tensortorch.Tensor 默认张量类型为torch.FloatTensorimport torch # 导入PyTorch1. 根据现有数据创建张量torch.tensor(data, *, dtype=None, device=None, requires_grad=Fa
2021-01-22 23:10:17
332
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人