- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据特征处理——jupyter notebook为例
目录数据集读取数据提取数据合并编码One-Hot编码标签编码分箱归一化与标准化归一化标准化处理缺失值判断缺失值是否存在处理缺失值数据集划分PAC降维简单可视化例子在训练机器学和深度学习模型时，都需要数据作为支持，数据可看作一个矩阵，行为数据个数，列为数据特征。在有监督学习中，某一列特征为目标值，无监督学习则没有，下面介绍几种常见的数据处理方法下面以简单的iris数据集为例：数据集读取from sklearn.datasets import load_irisimport pandas as pd
2021-05-19 23:03:04
11499
7
原创 目标检测算法综述
四大任务：目标分类目标定位目标检测图像分割经典模型:R-CNN, Fast R-CNN, Faster R-CNN, mask R-CNN, YOLO, SSD二阶段基本思路：1输入图片经过深度卷积网络(AlexNet,VGG,ResNet,)提取特征生成feature map2.使用SS算法，RPN等生成region proposals并通过计算iou筛选proposals3.输入feature map和proposals使用Roi Pooling，Roi Align生成维度一致的p
2021-04-18 16:17:41
317
原创 如何建立一个超图？(最全超详细+代码)
1.图和超图图作为一种数据结构，由节点和边组成，可由下图表示。其中一个边只能链接两个节点。一个图可表示为G=（v，e，w）其中v表示节点，e表示边，w表示节点的特征。关于图的表示可参考，本文不再详述。对于超图，其与图结构最主要的区别就是一条边可以连接多个节点，因此我们可以认为图是一种特殊的超图。超图结构如下图所示。超图可表示为G=(V,E,W)\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{W})G=(V,E,W)。其中V\mathcal{V}V为节
2021-04-14 18:13:06
10699
19
原创 Linux基础指令
Linux基础指令1、ls指令含义：ls （list）用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#ls 路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）： 路径可以分为两种：相对路径、绝对路径。 相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“…/”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对应路径；用法3：#ls 选项
2020-11-26 15:08:00
500
原创 c++基础：通讯录管理系统
问题：编写一个通讯录管理系统实现以下功能：1.添加联系人：添加联系人的姓名，性别，年龄，电话，地址信息，可多次添加2.显示联系人：显示已经添加的所有联系人3.删除联系人：输入姓名后删除该联系人全部信息4.查找联系人:输入姓名后查找该联系人5.修改联系人：输入姓名后修改联系人全部信息6.清空通讯录：删除所有联系人信息0.退出系统代码：//封装函数显示页面，如 viod showMenu()//在main函数中调用封装好的函数#include<iostream>using
2020-11-26 11:03:05
280
1
原创 c++基础：结构体案例
案例1问题：学校正在做毕设项目，每名老师带领5个学生，总共有3名老师，需求如下设计学生和老师的结构体，其中在老师的结构体中，有老师姓名和一个存放5名学生的数组作为成员。学生的成员有姓名、考试分数，创建数组存放3名老师，通过函数给每个老师及所带的学生赋值，最终打印出老师数据以及老师所带的学生数据。代码：#include<iostream>#include<string>#include <ctime>using namespace std;struct S
2020-11-25 13:47:46
249
原创 c++基础：冒泡排序
问题：封装一个函数，利用冒泡排序，实现对整形数组的升序排序。arr[10] = { 4,3,6,9,1,2,10,8,7,5 }代码：#include<iostream>#include<string>using namespace std;void sort(int* arr, int len){ for (int i = 0; i < len - 1; i++) { for (int j = 0; j < len - i - 1; j++)
2020-11-25 10:44:55
135
原创 c++基础：数组练习案例展示
1.五只小猪称体重问题在一个数组中记录了五只小猪的体重，如int arr[5]={300,350,200,400,250};找出并打印最重的小猪体重。代码#include<iostream>using namespace std;int main(){ system("pause"); return 0;}...
2020-11-24 16:29:06
409
原创 c++基础：循环练习案例展示
1.猜数字题目：系统随机生成一个1到100的数字，玩家进行猜测，如果猜错，提示玩家数字过大或过小，如果猜对恭喜玩家胜利，并且退出游戏。代码：#include<iostream>using namespace std;//time系统时间头文件包含#include <ctime>int main(){ //添加随机数种子，利用当前系统时间生成随机数，防止每次随机数一样 srand((unsigned int)time(NULL)) //1.系统生成随机数
2020-11-24 15:30:51
1640
原创 在步入深度学习前的环境配置——pytorch，tensorflow，keras安装
目录**1.下载 anaconda****2.创建虚拟环境****3.安装pytorch****4.安装tensorflow和keras****5.安装keras**目前深度学习的三大主流框架pytorch，tensorflow，keras可以说是学习深度学习的必备。工欲善其事必先利其器，如何安装这几个框架并进行使用是我们这篇文章需要解决的问题。1.下载 anacondaanaconda相当于一个软件全家桶。里面包含了python的一些idle包括jupyter notebook以及spyder。最
2020-11-23 16:12:06
743
原创 mysql数据库基本操作
@[TOC]目录1.下载安装SQL Installer安装版参考这里安装好页面如下。2.创建数据库可以使用工具栏上的创建数据库直接创建数据库，也可以使用命令：create database sql_data;创建好的数据库：3.创建表可以使用工具栏上的创建数据库直接创建数据库，注意，创建数据表的命令前需要使用use指明你要使用的数据库。（可以在你将要使用的数据库上面点击右键选择Set as Default Schema来使你将要用的数据库变为默认的，这样可以不用写use语句）通过
2020-11-20 16:52:46
198
原创 SQL经典实例（四）插入、更新和删除
1.插入新纪录--使用 insert 语句和values子句可以一次插入一行insert into dept(deptno,dname,loc)values(50,'PROGRAMMING','BALTIMORE')2.插入默认值create table D (id integer default 0) insert into values(default)3.使用null覆盖默认值create table D(id integer default 0 , foo VARCHAR(10)
2020-11-19 11:33:01
266
原创 SQL经典实例（三）多表查询
介绍如何利用连接查询和集合运算来合并多个表中的数据。表名：emp，dept1.叠加两个行集select ename as ename_and_dname ,deptnofrom empwhere deptno=10union allselect dname,deptnofrom dept--select deptnofrom emp--where deptno=10union allselect deptnofrom dept2.合并相关行select e.ename,
2020-11-19 09:41:34
453
原创 SQL经典实例（二）查询结果排序
1.以指定顺序返回查询结果#deptno为10，根据工资从低到高排序select ename,job,sal from empwhere deptno = 10order by sal asc--降序-- order by sal desc --数值代替列--order by 3 desc结果：2.多字段排序--emp表里的数据，先按照deptno升序，再按照sal降序排列select empno,deptno,sal,ename,job from emp orde
2020-11-17 10:00:37
943
1
原创 SQL经典实例（一）检索记录
实验用到的数据：emp1.检索所有行和列select * from emp --emp 为表名称 --使用“*”查询该表所有列，或者将“*”改为需要查看的列名2.筛选行select * from empwhere deptno = 103.查找满足多个查询条件的行select * from empwhere deptno = 10 or comm is not null or sal<=2000 and deptno=20--以上三个条件或链接：deptno =
2020-11-16 11:00:10
203
原创 特征工程之数据预处理与可视化
文章目录前言一、数据导入与查看二、数据操作三、可视化1.显示两个特征的关系2.热力图前言对于数据处理，我们可以运用python的一些库来完成和实现，下面是一些常用的程序代码总结一、数据导入与查看这里的数据集名称为data0.导入APIimport pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline plt.style
2020-11-15 14:56:16
942
原创 梯度下降simpleNet分类问题的Numpy实现
本文从最基础的梯度下降原理出发，使用numpy库搭建一个简单的神经网络。主要函数：softmax：对于分类问题，使用恒等函数作为显然并不合适，因此设计softmax函数，其基本原理就是将用二进制矩阵表示的输出经过softmax将其最大预测概率输出，比如某一类别真实值为[0,0,1],经过softmax函数后输出为[0.1,0.2,0.7]，那么就可认为最大的概率0.7为“1",其余各位为0，从而输出[0,0,1]def softmax(x): #概率表示 if x.ndim
2020-09-26 15:08:26
347
原创 SSD模型物体检测（水下生物识别）
一，前期准备工作1.下载SSD源码下载地址，将checkpoints文件夹下的压缩包解压出来2.在目录下新建三个文件夹：tfrecords_、train_model、VOC2007在spyder打开项目后结构如下：二，数据集制作1.采用VOC2007格式，使用labelImg，制作方法参考该文章:这三个文件夹拖入到VOC2007文件夹中，JPEGImages存储图片，Annotations存储标签等信息.2.将.xml标签，生成.tfrecord文件在工程中新建一个py文件 trans
2020-08-20 16:48:26
1235
原创 win7/win10安装Ubuntu20.04双系统详细操作步骤
0.磁盘分区我的电脑——右键——管理——磁盘管理选择一个盘（安装Ubuntu，我选的是F盘）——右键——压缩卷——选择压缩大小（20G以上）1.Ubuntu安装包下载**方法一：**官网下载20.04最新版本URL：https://ubuntu.com/**方法二：**如果方法一速度太慢，则可选择国内镜像网站，这里推荐清华大学开源软件镜像站：URL：https://mirrors.tuna.tsinghua.edu.cn/2.制作镜像文件推荐下载UltraISO点击：文件——打
2020-08-06 10:35:30
10427
2
原创 Anaconda环境配置常见问题
1.下载 anaconda官方直接下载合适版本https://www.anaconda.com/2.创建虚拟环境打开Anaconda Prompt (anaconda),输入以下指令conda create -n envname（1）激活环境conda activate envname（2）退出环境conda deactivate（3）查看已有的环境(当前已激活的环境会显示一个星号)conda info -e（4）删除一个已有的虚拟环境conda remove --nameyou
2020-07-28 17:19:37
587
原创 机器学习数据集预处理常见方法和十大算法API
一.读取数据1.读取本地数据data= pd.read_csv("文件路径\文件名.后缀名")2.读取科学库中数据sklearn中提供了许多简单数据集，以iris为例，需要导入APIfrom sklearn.datasets import load_irisdata = load_iris()二，数据提取1.在读取数据后，输入data.shape(),可查看数据集的形状,根据需要进行数据分片。data_1 = data.iloc[0: ,0:4] #表示选取所有数据的前四列data_
2020-07-25 16:45:51
1725
原创 CNN神经网络构建——MNIST识别实例
1.获得数据集保存在本地磁盘中# library# standard libraryimport os# third-party libraryimport torchimport torch.nn as nnimport torch.utils.data as Dataimport torchvisionimport matplotlib.pyplot as plt%matplotlib inline# Hyper ParametersEPOCH = 1
2020-07-13 11:45:41
288
原创 pytorch入门级教程——回归代码分析与实现
import torchimport torch.nn.functional as Fimport matplotlib.pyplot as plt# torch.manual_seed(1) # reproduciblex = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)y = x.pow(2) + 0.2*torch.rand(x.size())
2020-07-13 11:22:43
190
原创 pytorch入门级教程——分类代码分析与实现（iris数据集）
用iris数据进行分类训练，并可视化首先导入API：import torchimport torch.nn.functional as Fimport matplotlib.pyplot as pltfrom sklearn.decomposition import PCAfrom torch.autograd import Variablefrom sklearn.datasets import load_irisimport pandas as pdimport numpy as np
2020-07-13 11:12:49
4072
1
原创 分别用numpy，pytorch实现两层前向神经网络
分别用numpy，pytorch实现两层神经网络在人工智能领域，深度学习，神经网络异军突起，成为了现在的主流研究对象。那么如果想从最基本的原理入手，我们可以先用numpy实现一个简单的两层神经网络，即只有一个中间层。一个神经网络包括输入层，中间层，和输出层。numpy这一实现完全使用numpy来计算前向神经网络，损失函数，和反向传播。首先导入numpyimport numpy as np实现步骤：1.创建输入、输出：N, D_in, H, D_out = 64, 1000, 100, 1
2020-07-13 10:52:29
930
原创 Hopkins Statistic判断irir数据集聚类性能
Hopkins Statistic判断irir数据集聚类性能应用霍普金斯统计量（Hopkins Statistic） 可以判断数据在空间上的随机性，从而判断数据是否可以聚类。1.算法原理：首先，从所有样本中随机找n个点，然后为每一个点在样本空间中找到一个离他最近的点，并计算它们之间的距离xi,从而得到距离向量x1,x2,…,xn;然后，从样本的可能取值范围内随机生成n个点，对每一个随机生产的点，找到一个离它最近的样本点，并计算它们之间的距离，得到y1,y2,…,yn。霍普金斯统计量H可以表示为：
2020-06-26 22:06:40
4242
原创 决策树划分方法——CART决策树分析泰坦尼克号乘客生存预测及可视化
决策树**决策树：**是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。决策树算法的目的是为了产生一颗泛化能力强，即处理未见实例能力强的决策树。我们要找到信息增益最大的分支结点一、 决策树分类原理熵：1、从信息的完整性上进行的描述:当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。2、从信息的有序性上进行的描述:当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散
2020-06-20 12:11:45
2267
1
原创 基于逻辑回归的癌症分类预测-良／恶性乳腺癌肿瘤预测及ROC曲线绘制
逻辑回归逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。逻辑回归是解决二分类问题的利器。逻辑回归的输入就是一个线性回归的结果。sigmoid函数回归的结果输入到sigmoid函数当中输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值APIsklearn.linear_model.LogisticRegression(solver=‘liblinear’, pena
2020-06-16 13:45:44
5624
1
原创 sklearn素线性回归及岭回归API介绍+模型的保存与加载
sklearn素线性回归及岭回归API介绍+模型的保存与加载下面介绍一种线性回归训练模型的方法。线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。损失函数总损失定义为：yi为第i个训练样本的真实值h(xi)为第i个训练样本特征值组合预测函数又称最小二乘法优化算法:1.正规方程2.梯度下降法梯度下降的基本过程就和下山的场景很类似。首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的
2020-06-14 09:15:36
477
原创 sk-learn Facebook数据集预测签到位置
sk-learn预测facebook签到位置本次比赛的目的是预测一个人将要签到的地方。 为了本次比赛，Facebook创建了一个虚拟世界，其中包括10公里*10公里共100平方公里的约10万个地方。对于给定的坐标集，我们 的任务将根据用户的位置，准确性和时间戳等预测用户下一次的签到位置。 数据被制作成类似于来自移动设备的位置数据。特征值：“x”, “y”, “accuracy”, “day”, “hour”, “weekday”目标值： place_id本实例使用Facebook上统计的数据，
2020-06-13 12:29:22
1666
4
原创 机器学习sk-learn鸢尾花分类模型训练
sk-learn鸢尾花分类模型训练在python的sklearn库中，有一些小型数据集，我们可以直接拿来进行模型训练学习。Iris（鸢尾花）数据集是常用的分类实验数据集，由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。关于数据集共有150个样本，4个特征，3个目标值，我们可以这样引用：from sklearn.datasets import load_iris# 1.获取鸢尾花数据集iris = load_iris()print("鸢尾花数据集的返回值
2020-06-11 14:13:49
3730
1
翻译 完整机器学习项目的流程
完整机器学习项目的流程1 抽象成数学问题明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。这里的抽象成数学问题，指的明确我们可以获得什么样的数据，抽象出的问题，是一个分类还是回归或者是聚类的问题。2 获取数据数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。数据要有代表性，否则必然会过拟合。而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数量级的差距。而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以
2020-06-09 11:53:13
526
1
原创 Jupyter Notebook -- Pandas高级数据处理
Pandas高级处理一、缺失值处理1.判断缺失值是否存在 pd.notnull( ) #缺失值显示false pd.isnull( ) #缺失值显示ture np.all(pd.notnull(movie)) #有缺失值返回false np.any(pd.isnull(movie)) #有缺失值返回true2.处理缺失值(1)删除pandas删除缺失值，使用dropna的前提是，缺失值的类型必须是np.nanmovie.dropna() # 不修改原数据data =
2020-06-09 11:48:17
4579
原创 用pandas分析电影评分与票房的关系
使用Jupyter的API，pandas和matplotlib。pandas进行数据获取，生成dataframe矩阵，matplotlib进行画图。最终得到电影评分与票房的关系。数据库包括了1000条电影信息，代码如下：import pandas as pdimport matplotlib.pyplot as pltfrom pylab import mpl #设置字体mpl.rcParams["font.sans-serif"] = ["SimHei"]mpl.rcParams["axe
2020-06-05 09:10:23
1424
原创 Python——pandas的基本运算及实例代码
Python——pandas的基本运一、基本介绍pandas有三种数据结构：一维：series二维：DataFarme（重点）三维：MultiIndex二、Series一维数组：由索引index和数据data组成 1.创建Series：import pandas as pdimport randomseries=pd.Series(data=range(0,10))series 结果：0 01 12 23 34 45 56
2020-06-02 12:39:18
2383
原创 python机器学习——numpy库中ndarray的计算
numpy中ndarray的计算一、生成数组的方法1 ndarray的属性数组属性反映了数组本身固有的信息。import numpy as npa = [[2,3],[3,4],[2,3],[3,4]]b=np.array(a)print(b.shape) #数组维度print(b.ndim) #数组维度print(b.size) #数组的元素数量print(b.itemsize) #一个数组元素的长度print(b.dtype) #数组元素的类型结果(4,
2020-05-31 19:17:14
1332
原创 Python —— matplotlib库的温度图像绘制
使用的环境是Jupyter Notebook。我是安装了python版本Anaconda，已经内置了各种python包，可进入官网下载。在Anaconda下安装Jupyter Notebook即可在web页面上进行代码编写。在python中，matplotlib库用于图像的绘制，本文以温度统计图为例，介绍使用matplotlib库来绘制统计图的功能。主要用到的函数有figure,plot,show等，还有一些附加功能函数。import matplotlib.pyplot as plt #导入库定义为
2020-05-28 12:19:05
2442
原创 Python机器学习知识点摘要
Python机器学习一、机器学习的三种不同方法监督学习：用有类标(label)的训练数据构建模型。所谓类标即已知输出项，也就是我们知道该训练样本的输出是什么，而我们所做的是用已知的样本去训练机器，最终让机器获得预测未知数据的能力。分类：将离散化的样本按其特征划分到不同类别中，先训练找到分界线后机器在输入新样本时即可实现新样本的分类回归：针对连续性输入变量进行预测，先训练找到输入和输出的关系，然后机器可实现对新输入变量所对应的输出变量进行预测。强化学习：构建一个系统，在与环境交互的过程中提高系统的
2020-05-26 23:15:05
494
原创 信号与系统及控制基础知识
信号与系统及控制基础知识一、什么是信号？什么是系统？对于一个没接触过电气控制领域的人来说，要理解信号也是非常简单的，简而言之就是信息。信息的种类有太多了，电气控制选择物理信息进行研究。比如电流，电压就是信号。那么对于系统，我们可以理解成一个盒子，里面是错综复杂的电路，当我们输入电流或电压到这个盒子，通过内部复杂的电路，输出一个新的信号。这个盒子可以按照我们的意愿，去输出我们希望得到的新的信号。盒子就是系统。二、控制什么？知道了信号和系统的概念之后，我们还需要知道控制是什么。其实不难理解，控制是一个过程
2020-05-16 21:01:39
1434
原创 基于8086微机原理核心考点（考试必背）
第一章：1.冯•诺依曼计算机思想:思想核心是程序存储和程序控制，计算机主要有运算器，控制器，存储器，输入、输出设备组成，其数据和程序均以二进制形式存放。2.微处理器，微型计算机，微型计算机系统的区别：微处理器就是CUP，主要有运算器，控制器，寄存器和内部总线构成微型计算机主要包括：为处理器，存储器，I/O接口和总线单元。总线单元有数据、地址、控制总线。数据总线位数表示一次传输数据的位数，地址总线的位数表示寻址范围，控制总线传输控制信息，如读写、高电平低电平等微型计算机系统是计算机指令写出的的程序
2020-05-16 20:08:04
2445
DS1621温度传感器实验.zip
2020-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人