- 博客(30)
- 收藏
- 关注
RSS订阅原创 cmd下循环每一个文件并对文件进行自定义操作
for 循环for %i in (你，好) do @echo %ifor , in ，do 是关键字，缺一不可%%I 是for语句中对定义变量的引用，必须要写in之后，do之前必须有括号%i指循环括号里的内容也就是i=你，i=好后面的%i也指代这个你，好下面是我想运行的程序for %i in (*.dat) do (rdr2csv %i>%i.csv) # %i代表前面循环的每一个.dat文件for %i in (*.dat) do (rdr2tab %i ..
2022-05-31 09:26:24
861
原创 arcgis批量分割shp文件
Analysis Tools--Extract--Split By AttributesInput Table 输入要裁剪的shp文件Target Workspace 保存路径，一定要是一个文件夹split Fields 区分裁剪的区域字段，可以打开属性表，看哪个字段是要区分的...
2022-05-21 14:29:34
2288
原创 arcgis创建公里格网并计算格网内点的平均值最后形成马赛克式栅格图
生成公里格网在搜索框搜索create fishnet点击create fishnetoutput feature class 输出格网的位置和名字template extent 公里格网的范围 和什么层相同cell size width 像元宽度cell size height 像元高度geometry type 在这里我选择的是polygon 生成的是一个一个格网面，如果选择polyline生成的是 一条一条线一定要注意如果想生成1km的类似的公里网格这个框里显示.
2022-05-18 11:11:27
4696
1
原创 将多个csv文件合并成一个
1.将导出的CSV格式表格文件，复制到同一个文件夹内。2.点击文件夹的空白处，弹出下拉菜单。3.选择新建-文本文档，在文件夹内新建一个文本文档。4.双击打开文档，在文档中键入“copy *.csv 合并.csv”,保存关闭。5.将新建的文本文档重命名为合并.bat...
2022-04-03 12:25:26
13794
3
原创 朴素贝叶斯
联合概率：两件事情同时发生的概率条件概率：x的前提下y的取值概率高斯朴素贝叶斯(服从正态分布)prior 可输入任何类数组结构，形状为n_classes 表示先验概率，如果指定，不根据数据调整先验，反之，根据数据自行调整计算先验 var_smoothing 浮点数，可不填，默认=1e-9 将所有特征方差中最大的方差一某个比列添加到估计方差中。 import numpy as npimport matplotlib.pyplo
2021-12-20 21:46:05
192
原创 多元线性回归LinearRegression
基本原理：=损失函数：linear_model.LinearRegressionfit_intercept 布尔值，可不填，默认True False 不计算截距 normalize 布尔值，可不填，默认False 忽略此参数 True 特征矩阵在进入回归前减去均值(中心化)并处以L2范式(缩放) 如果希望数据标准化，在fit之前使用preprocessing模块中的标准化专用类StandardScaler cop...
2021-12-18 20:01:11
592
原创 支持向量机SVM
功能 有监督学习 线性二分类与多分类(Linear Support Vector Classification) 非线性二分类与多分类(Support Vector Classification,SVC) 普通连续型变量的回归(Support Vector Regression) 概率型连续变量的回归(BayesianSVM) 无监督学习 支持向量聚类(Support Vector Clustering,SVC) 异常值检测...
2021-12-16 20:40:38
263
原创 聚类算法的使用
KMeans将一组N个样本的特征矩阵X划分为K个无交集的簇。质心：簇中所有数据的均值流程：1.随机抽取K个样本作为最初的质心，开始迭代 2.将每个样本点分配到离他们最近的簇心，生成K个簇 3.对于每个簇，计算所有被分配到该簇的样本点的平均值最为新的质心 4.当质心的位置不再变化时，迭代停止，聚类完成。欧几里得距离： d(x,) =曼哈顿距离： d(x,) =余弦距离： ...
2021-12-13 21:07:42
2319
原创 逻辑回归的使用
逻辑回归优点：线性关系的拟合效果非常好，计算快，返回结果可以是小数类概率数字损失函数：来衡量参数的模型拟合训练时产生的信息损失的大小逻辑回归中过拟合的控制通过正则化来实现linear_model.LogisticRegression参数 penalty = 'l1' 或'l2' 一般都选l2from sklearn.linear_model import LogisticRegression as LRfrom sklearn.datasets import load_b...
2021-12-12 14:29:13
1123
原创 降维算法PCA
PCA使用样本方差来衡量信息量，方差越大，特征所带的信息量越大矩阵分解：找出n个新特征向量，让数据能够被压缩到少数特征上并总信息量不损失太多的技术sklearn.decomposition.PCA(n_component=None,copy=True,svd_solve='auto',tol=0.0, iterated_power='auto',random_state=None)n_component...
2021-12-09 20:20:14
1268
原创 数据预处理和特征工程
数据预处理：从数据中检测、纠正、删除损坏的不准确的或者不适用于模型记录的过程 目的：让数据更加适应模型，匹配模型需求特征工程：将原始数据转换为更能代表预测模型的潜在问题的特征工程。可以通过挑选最相关特征，提取特征以及创造特征来实现。其中创造特征又经常以将为的方式实现。 问题：特征之间有相关性，特征和标签无关，特征太多或太少，或者干脆就无法表现出应有的数据现象或无法展示数据的真实面貌。 目的：降低计算成本，提升模型上限数据预处理：数据无量钢...
2021-12-08 20:20:07
1290
原创 机器学习中如何使参数最优
学习曲线from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import cross_val_scoreimport matplotlib.pyplot as pltimport pand...
2021-12-07 19:52:32
1362
原创 随机森林的使用
1.1集成算法：考虑多个评估器的建模结果，汇总之后得到一个综合结果，以此来获取比单个模型更好的回归或分类的表现。bagging装袋法 通过构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估其的结果。代表模型是随机森林。boosting提升法 基评估器是相关的，按顺序一一构建。核心是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。代表模型是Adaboost和梯度提升树。stacking
2021-12-07 16:24:30
1698
原创 决策树是如何使用的
决策树是如何工作的能够从一系列有特征和标签中总结出决策规则，并用树状图结构来呈现出来。关键概念：节点（根节点，中间节点，叶子节点，子节点，父节点）核心问题：如何从数据表中找出最佳节点和最佳分支？如何让决策树停止生长，防止过拟合？sklearn：1.实例化建立评估模型对象2.通过模型接口训练模型3.通过模型接口提取需要信息from sklearn import treefrom sklearn.datasets ...
2021-12-06 20:08:43
672
原创 用AVE和GAN生成图像
AVE相当于把图片压缩在解压的感觉。自编码器 x ——编码器——z——解码器——变分自编码器 对z有一个正态分布的约束import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionfrom torchvision import transformsfrom torchvision.utils import save_imagesampl...
2021-11-25 12:44:04
951
原创 Tensorboard可视化
tensorboard 可视化神经网络import torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.utils.tensorboard import SummaryWriterclass Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(i.
2021-11-23 16:12:31
679
原创 utils.data的使用
utils.data包括Dataset和DataLoader。torch.utils.data.Dataset为抽象类。自定义数据集余姚继承这个类，并实现两个函数：__getitem__ , __len__ ,前者通过给定的索引获取数据和标签，后者提供数据集大小。__getitem__ 一次只能获取一个数据，所以用DataLoader来实现batchsize的读取。import numpy as npimport torchfrom torch.utils import data..
2021-11-22 17:52:20
1415
原创 优化器的比较
import torchimport torch.utils.data as Dataimport torch.nn.functional as Ffrom matplotlib import pyplot as pltlr = 0.01batchsize = 32epoch = 12x = torch.unsqueeze(torch.linspace(-1,1,1000),dim=1)# unsqueeze 把一维变二维y = x.pow(2) + 0.1 * torch.norma.
2021-11-21 17:47:57
202
原创 MNIST数据集的实现
import numpy as npimport torchfrom matplotlib import pyplot as pltfrom torchvision.datasets import mnistimport torchvision.transforms as transformsfrom torch.utils.data import DataLoaderimport torch.nn.functional as Fimport torch.optim as optimfro.
2021-11-21 14:05:53
667
原创 用tensor实现线性回归
表达式 y = 3 + 2 加上一些噪音数据得到另一个数据y构建一个机器学习模型，学习表达式y = + b ,利用数组x，y的数据为训练数据采用梯度下降法，通过多次迭代，学习到w，b的值# 损失函数 Loss =0.5(+b - 自动计算梯度import torchfrom matplotlib import pyplot as plttorch.manual_seed(100)dtype = torch.floatx = torch.unsq...
2021-11-16 14:24:02
1402
原创 用numpy实现线性回归
表达式 y = 3+ 2 加上一些噪音数据得到另一个数据y构建一个机器学习模型，学习表达式y =+ b ,利用数组x，y的数据为训练数据采用梯度下降法，通过多次迭代，学习到w，b的值# 损失函数 Loss =0.5(+b - 对损失函数求导 , 梯度下降法 w1 = w - b1 = b -import numpy as npfrom matplotlib im...
2021-11-15 21:08:02
1657
原创 pytorch提供的网络模型（预测图片类别）
vgg16因为vgg16太大了（100多个G）所以没有下载pretrained = False 模型中所有的参数为默认参数pretrained = True 模型中所的参数为训练好的参数from torch import nnvgg16_false = torchvision.models.vgg16(pretrained=False)vgg16_true = torchvision.models.vgg16(pretrained=True)pr...
2021-10-27 19:45:47
898
原创 优化器 TORCH.OPTIM
import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequentialfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("./d.
2021-10-26 16:43:10
191
原创 损失函数与反向传播
注意输入和输出的大小import torchfrom torch import nnfrom torch.nn import L1Lossinputs = torch.tensor([1,2,3],dtype=torch.float32)targets = torch.tensor([1,2,5],dtype=torch.float32)inputs = torch.reshape(inputs,(1,1,1,3))targets = torch.reshape(targets,(1,
2021-10-26 15:26:41
315
原创 神经网络的基本框架
输入 ——卷积——非线性——卷积——非线性——输出 forwarddef forward(self,x): x = F.relu(self.conv1(x)) # conv第一次卷积 1是一维 relu第一次非线性 return F.relu(self.conv2(x))nn.Module的使用import torchfrom...
2021-10-23 21:00:25
293
原创 DataLoader
import torchvisionfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWritertest_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())#准备的一个测试集test_loader = DataLoader.
2021-10-23 11:49:48
119
原创 torchvision
import torchvisiontrain_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,download=True)test_set = torchvision.datasets.CIFAR10(root="./dataset",train=False,download=True)# train = True 训练集 False 测试集# download = True 下载print(test_set[0]).
2021-10-23 10:16:48
84
原创 常见的transforms
输入 输出 作用PIL Image,open()tensor ToTensor()warrays cv.imread()from PIL import Imagefrom torch.utils.tensorboard import SummaryWriterfrom torchvision import transformswriter = SummaryWriter('logs')img = Image.open("data/t...
2021-10-22 20:32:04
1339
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人