fightinglearning的博客

原创 服务器配置与使用

服务器配置与使用MobaXterm安装入门Linux-非Root用户-配置深度学习环境问题与解决conda环境变量设置运行代码MobaXterm安装入门链接：linkLinux-非Root用户-配置深度学习环境链接：link问题与解决conda环境变量设置conda: command not found问题添加环境变量export PATH=$PATH:/home/Your_name/anaconda3/bin链接：linkCan’t execute conda activat

转载 傅里叶分析

傅里叶分析     原文出处： 韩昊    1 2 3 4

原创 DW-心电信号分类预测

DW-心电信号分类预测11.数据集介绍1.1数据概况1.2预测指标1.3赛题分析2.数据加载2.1数据读取2.2分类指标计算2.3EDA和数据预处理2.4训练数据/测试数据准备3.模型训练4.总结1.数据集介绍赛题以心电图数据为背景，根据心电图感应数据预测心跳信号，其中心跳信号对应正常病例以及受不同心律不齐和心肌梗塞影响的病例，这是一个多分类的问题。但是由于信号数据具有时间顺序，所以是一个时序建模分析问题。只是给定的数据是转化为数值的.csv数值文件。它的总数据量超过20万，主要为1列心跳信号序列数据

原创 DW_SQL集合运算

DW_SQL集合运算关于UNION1、unionUNION 等集合运算符通常都会除去重复的记录.UNION 的去重相当于set. 不仅会去掉两个结果集重复的，还会去掉一个结果集中重复的行。2、union all在union的结果中保留重复行。3、union可以兼容不同的类型4、两个表做差集利用谓词 not in...

原创 DW_复杂一点的查询

DW_复杂一点的查询）视图子查询嵌套子查询标量子查询关联子查询视图一句话概括视图与表的区别—“是否保存了实际的数据”。所以视图并不是数据库真实存储的数据表，它可以看作是一个窗口，通过这个窗口我们可以看到数据库表中真实存在的数据。所以我们要区别视图和数据表的本质，即视图是基于真实表的一张虚拟的表，其数据来源均建立在真实表的基础上。子查询嵌套子查询随着子查询嵌套的层数的叠加，SQL语句不仅会难以理解而且执行效率也会很差，所以要尽量避免这样的使用。标量子查询通常任何可以使用单一值的位置都可以使用。也

原创 DW_网络设计

DW_网络设计关于先验框关于先验框在众多经典的目标检测模型中，均有先验框的说法，有的paper(如Faster RCNN)中称之为anchor(锚点)，有的paper(如SSD)称之为prior bounding box(先验框)，实际上是一个概念。那么，为什么要有先验框这个概念呢？按理说我们的图片输入模型，模型给出检测结果就好了，为什么还要有先验框？那么关于它的作用，我们不妨回顾一下前面在2.1节所说的那个目标检测最初的解决方案，我们说，我们要遍历图片上每一个可能的目标框，再对这些框进行分类和微调，

原创 DW_基础查询与排序

DW_基础查询与排序基础查询运算符聚合查询基础查询从表中选取符合条件的数据SELECT <列名>，…… FROM <表名> WHERE <条件表达式>；SELECT * 代表查询全部列SQL中可以随意使用换行符，不影响语句执行（但不可插入空行），以分号;结尾设定汉语别名时需要使用双引号（"）括起来。在SELECT语句中使用DISTINCT可以删除重复行。注释是SQL语句中用来标识说明或者注意事项的部分。分为1行注释"-- “和多行注释两种”/*

原创 DW_目标检测基础

@[toc]（DW_目标检测基础）目标检测基本概念目标检测：需要在识别出图片中目标类别的基础上（图像分类），还要精确定位到目标的具体位置，并用外接矩形框标出。物体的位置：通过滑窗的方式确定众多候选框，罗列图中各种可能的区域，再对候选框进行分类和微调。这样对于图像中每个区域都能得到（class,x1,y1,x2,y2）五个属性，汇总后最终就得到了图中物体的类别和坐标信息。除此之外，每个框送入到分类网络分类都有一个得分(代表当前框的置信度)，那么得分最高的就代表识别的最准确的框，其位置就是最终要

原创 DW_SQL入门

DW_SQL入门搭建mysql环境初始数据库DDLDMLDCLSQL语法规范四种基本数据类型一直想找机会学习下SQL，感谢Datawhale提供的资源和平台，之前参加的很多都半途而废了，虽然有别的ddl，但谁没有呢，所以一定要坚持下去啊，给2020 画上完美的句号！搭建mysql环境贴个安装教程链接：https://github.com/datawhalechina/team-learning-sql/blob/main/Task00%EF%BC%9A%E7%BB%AA%E8%AE%BA%20-%20

原创 DW_numpy_随机抽样

随机抽样离散型随机变量二项分布泊松分布超几何分布连续型随机变量均匀分布正态分布指数分布其它随机函数随机从序列中获取元素对数据集进行洗牌操作numpy.random 模块对 Python 内置的 random 进行了补充，增加了一些用于高效生成多种概率分布的样本值的函数，如正态分布、泊松分布等。numpy.random.seed(seed=None) Seed the generator.seed()用于指定随机数生成时所用算法开始的整数值，如果使用相同的seed()值，则每次生成的随机数都相同，如

原创 DW-numpy_输入和输出

输入和输出numpy 二进制文件文本文件文本格式选项numpy 二进制文件save()、savez()和load()函数以 numpy 专用的二进制类型（npy、npz）保存和读取数据，这三个函数会自动处理ndim、dtype、shape等信息，使用它们读写数组非常方便，但是save()输出的文件很难与其它语言编写的程序兼容。npy格式：以二进制的方式存储文件，在二进制文件第一行以文本形式保存了数据的元信息（ndim，dtype，shape等），可以用二进制工具查看内容。npz格式：以压缩打包的方式

原创 DW_numpy-数组操作

数组操作更改形状数组转置更改维度数组组合数组拆分数组平铺添加和删除元素更改形状numpy.ndarray.shape表示数组的维度形状，返回一个元组.通过对其赋值更改形状x.shape = (2, 4)或者[2,4]。numpy.ndarray.flat 视图。 将数组转换为一维的迭代器，可以用for访问数组每一个元素。x = np.reshape(np.arange(12),[3,4])y = x.flat #y是一个迭代器print(y)# <numpy.flatit

原创 DW-numpy_索引、切片与迭代

索引、切片与迭代副本与视图索引与切片切片索引:dots 索引整数数组索引布尔索引:数组迭代副本与视图在 Numpy 中，返回结果是 副本 或者 视图。赋值运算：不会为数组和数组中的任何元素创建副本。（是同一个，故同时变化）numpy.ndarray.copy() 函数创建一个副本。 对副本数据进行修改，不会影响到原始数据。数组切片操作返回的对象只是原数组的视图。import numpy as npx = np.array([[11, 12, 13, 14, 15],

原创 DW-Numpy_数据类型和数组重建

数据类型和数组重建常量数据类型常见数据类型创建数据类型数据类型信息时间日期和时间增量datetime64 基础datetime64 和 timedelta64 运算datetime64 的应用数组的创建1. 依据现有数据来创建 ndarray2.随机初始化矩阵3. 利用数值范围来创建ndarray4. 结构数组的创建数组的属性部分练习常量numpy.nan：表示空值。两个numpy.nan是不相等的numpy.isnan(x, *args, **kwargs) 返回布尔数组True/False Te

原创 01统计学习概论

原创 Decision Tree

决策树1 决策树原理1.1 特征选择1.2 决策树的生成伪代码1.3 决策树剪枝1.4 优缺点2 习题3 实践3.1 重要参数3.2 算法应用1 决策树原理分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。决策树学习旨在构建一个与训练数据拟合很好，并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问

原创 DW模型搭建和评估

DW模型搭建和评估特征工程缺失值填充（清洗）编码分类变量（重构）模型搭建train_test_split模型创建逻辑回归随机森林输出模型预测结果模型评估交叉验证混淆矩阵ROC曲线经过前面的探索性数据分析、数据清洗重构可视化后，我们可以很清楚的了解到数据集的情况，下面我们进一步探索模型搭建和模型评估。from IPython.display import Image #调用Imageplt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签p

原创 DW数据可视化

DW数据可视化柱状图折线图kdeplot散点图3D图**复习：在数据的清理和重构基础上，为了更好的看到每一个关键步骤的结果如何，使得数据更加的易于理解；*数据可视化是一个很有用的技巧。柱状图处理离散型数据任务二：可视化展示泰坦尼克号数据集中男女中生存人数分布情况（用柱状图试试）。sex = text.groupby('Sex')['Survived'].sum()sex.plot.bar() #Seris.plot.bar()plt.title('survived_count')plt

原创 DW数据重构

DW数据重构数据合并pd.concat([df1,df2,df3],axis=0/1,join='outer',ignore_index=True,join_axes=[df1.index])纵向合并df1.append(df2,ignore_index=True)横向合并df1.join(df2)pd.merge()将数据变为Series类型的数据GroupBy机制数据合并pd.concat([df1,df2,df3],axis=0/1,join=‘outer’,ignore_index=True,j

原创 DW数据清洗及特征处理

DW数据清洗及特征处理1 缺失值观察与处理2 重复值观察与处理3 特征观察与处理数据清洗及特征处理可以让数据看起来规律性更强，为后面操作做铺垫。我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。1 缺失值观察与处理我们拿到的数据经常会有很多缺失值，比如我们可以看到Cabin列存在NaN，那其他列还有没有

原创 DW 逻辑回归

DW之逻辑斯谛回归(LR)1、逻辑回归的原理2、逻辑回归损失函数推导及优化3、逻辑回归的优缺点4、实例Iris代码实现逻辑斯谛回归(LR)是经典的分类方法由逻辑斯谛分布（分布函数是S型曲线）---->二项逻辑斯谛回归模型---->多项逻辑斯谛回归模型逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数F(x)F(x)F(x)是SSS形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。我们把发生概率/不发生概率称之为一个事件的几率，对其取对数为对数几率，将将二项的逻辑斯谛回

原创 DW数据加载及探索性数据分析

DW数据加载及探索性数据分析）1数据载入及初步观察1.1 载入数据1.2 初步观察1.3 保存数据1数据载入及初步观察通过数据分析的实战教学，完成kaggle上泰坦尼克的任务，实战数据分析全流程。参考资料：教材《Python for Data Analysis》1.1 载入数据1.1.2 任务二：载入数据(1) 使用相对路径载入数据(2) 使用绝对路径载入数据df=pd.read_csv("train.csv")df.head()df1 = pd.read_csv("C:/Users

原创 python正则表达式

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

原创 DW支持向量机

SVM1、硬间隔SVM-统计学习基础软间隔核函数常用的核函数及对比：2、软间隔前言软间隔最大化参考博客1、硬间隔SVM-统计学习基础一开始讲解了最小间距超平面：所有样本到平面的距离最小。而距离度量有了函数间隔和几何间隔，函数间隔与法向量www和bbb有关，www变为2w2w2w则函数间距变大了，于是提出了几何距离，就是对www处理，除以∣∣w∣∣||w||∣∣w∣∣，除以向量长度，从而让几何...

原创 条件随机场

条件随机场马尔可夫过程定义假设一个随机过程中，tnt_ntn​ 时刻的状态xnx_nxn​的条件发布，只与其前一状态xn−1x_{n-1}xn−1​ 相关，即：P(xn∣x1,x2,...,xn−1)=P(xn∣xn−1) P(x_n|x_1,x_2,...,x_{n-1}) = P(x_n|x_{n-1})P(xn​∣x1​,x2​,...,xn−1​)=P(xn​∣xn−1​...

原创 pandas 变形

变形一、透视表1. pivot2. pivot_table3. crosstab（交叉表）二、其他变形方法1. melt2. 压缩与展开三、哑变量与因子化1. Dummy Variable（哑变量）2. factorize方法一、透视表1. pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列...

原创 EM

EM前言EM算法引入EM算法推导逼近证明收敛高斯混合分布总结混合高斯分布模型E步主要计算内容M步 主要计算内容前言EM算法是机器学习十大算法之一，它很简单，但是也同样很有深度，简单是因为它就分两步求解问题，E步：求期望（expectation）M步：求极大（maximization)深度在于它的数学推理涉及到比较繁杂的概率公式等，所以本文会介绍很多概率方面的知识，不懂的同学可以先去了...

原创 pandas 分组

pandas 分组一、SAC过程1. 内涵2. apply过程二、groupby函数1. 分组函数的基本内容：（c）组容量与组数2. groupby对象的特点从原理上说，我们可以看到利用函数时，传入的对象就是索引，因此根据这一特性可以做一些复杂的操作三、聚合、过滤和变换1. 聚合（Aggregation）2. 过滤（Filteration）3. 变换（Transformation）四、apply函...

原创 Bayes

贝叶斯1. 相关概念（生成模型、判别模型)2. 先验概率、条件概率3. 贝叶斯决策理论4. 贝叶斯定理公式5. 极值问题情况下的每个类的分类概率6. 下溢问题如何解决7. 零概率问题如何解决？8. 优缺点9. sklearn参数详解，Python绘制决策树1. 相关概念（生成模型、判别模型)2. 先验概率、条件概率3. 贝叶斯决策理论4. 贝叶斯定理公式5. 极值问题情况下的每个类的分类...

原创 Pandas 索引

索引一、单级索引1. loc方法、iloc方法、[]操作符最常用的索引方法可能就是这三类，其中iloc表示位置索引，loc表示标签索引，[]也具有很大的便利性，各有特点（a）loc方法（注意：所有在loc中使用的切片全部包含右端点！）① 单行索引：② 多行索引：③ 单列索引：④ 多列索引：⑤ 联合索引：⑥ 函数式索引：⑦ 布尔索引小节：本质上说，loc中能传入的只有布尔列表和索引子集构成的列表，只...

原创 Linear_regression

Linear_regression线性回归的概念1、线性回归形式极大似然估计（概率角度诠释）2、线性回归损失函数、代价函数、目标函数3、线性回归的优化方法1、梯度下降法2、最小二乘法矩阵求解3、牛顿法4、拟牛顿法4、线性回归的评价指标5、sklearn.linear_model参数详解：1、先尝试调用sklearn的线性回归模型训练数据2、最小二乘法的矩阵求解参考线性回归的概念1、线性回归形式...

原创 pandas基础

pandas基础知识文件读取与写入基本数据结构1. Series2. DataFrame常用基本函数排序问题练习总结文件读取与写入文件读取的格式：pd.read_csv(‘文件名’)pd.read_txt(‘文件名’)pd.read_excel(‘文件名’) 前提：有xlrd包read_hdf ，read_sql，read_json，read_html还有stata...