未入坑的小白-CSDN博客

原创 CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE

spark on Yarn，并且整合spark 与hive过程

2022-08-21 00:22:50 1993 1

原创 pyspark 在跑自定义UDAF函数时遇到的问题

pyspark 在跑自定义UDAF函数时遇到的一个问题问题场景：问题描述原因分析及解决方案：问题场景：在SparkSQL中，因为需要用到自定义的UDAF函数，所以用pyspark自定义了一个，但是遇到了一个比较棘手的问题，就是自定义的UDAF函数一直报AttributeError: 'NoneType' object has no attribute '_jvm'问题描述在新建的py文件中，先自定义了一个UDAF函数，然后在 if __name__ == '__main__':中调用，死活跑不起

2022-03-31 14:21:35 2902

原创 DolphinScheduler任务调度

DolphinScheduler任务调度1. DolphinScheduler简介2. DolphinScheduler特点3. DolphinScheduler安装3.1 依赖软件3.2 下载二进制tar.gz包3.3 数据库初始化3.4 修改运行参数3.5 启动Zookeeper集群3.6 一键部署3.7 集群服务的启停4. DolphinScheduler基础操作4.1 登录系统4.2 创建队列4.3 创建租户4.4 创建普通用户4.5 创建告警组4.6 创建Worke

2022-03-17 00:09:39 6692

原创 PyTorch的模型创建与nn.Module

PyTorch的模型创建与nn.Module模型创建与nn.ModulePyTorch的模型创建与nn.Module一、网络模型的创建步骤二、torch.nn模块一、网络模型的创建步骤机器学习的模型训练步骤一般来讲都要经过读取数据、建立模型、选择损失函数、选择优化器、迭代训练最后得出模型。具体流程如下图:在模型模块部分，分为两个部分，模型创建和权值初始化，而模型创建又分为构建网络层，例如卷积层、池化层、激活函数层等等，以及拼接网络层；在拼接网络层部分，把构建好的网络层按照一定的顺序拼接成L

2020-09-16 23:28:07 367

原创 PyTorch中的transforms图像增强方法

PyTorch中的transforms图像增强方法一、数据增强(Data Augmentation)1.1 中心裁剪一、pandas是什么？二、使用步骤1.引入库2.读入数据总结一、数据增强(Data Augmentation) 数据增强又称为数据增广，数据扩增，它是对训练集进行变换，使训练集更丰富，从而让模型更具泛化能力。1.1 中心裁剪transforms.CenterCrop功能：从中心裁剪图片size：所需裁剪图片尺寸提示：这里可以添加本文要记录的大概内容：例如：随着人工智能..

2020-09-15 21:44:14 3297

原创 PyTorch的数据读取及transforms运行机制

PyTorch的数据读取及transforms运行机制PyTorch的数据读取核心就是DataLoader。它分为两个子模块，Sample和DataSet。Sample的功能是生成索引——Index即样本的序号；DataSet则是根据索引去读取图片等数据以及所属标签。PyTorch的数据读取及transforms运行机制PyTorch的数据读取及transforms运行机制一、数据读取1.1 torch.utils.data.DataLoader二、torch.utils.data.Dataset二

2020-09-12 12:54:49 663

原创 PyTorch的autograd机制与逻辑回归的实现

PyTorch的autograd机制与逻辑回归的实现一、torch.autograd 1.1.1 retain_graph 1.1.2 grad_tensors一、pandas是什么？二、使用步骤1.引入库2.读入数据总结一、torch.autograd## 1.1 torch.autograd——自动求导系统 torch.autograd.backward(tensors, grad_tensors=None, retain_gradh=None, create_grade=False) 功

2020-09-10 23:26:29 421

原创 PyTorch的计算图与动态图机制

PyTorch的计算图与动态图机制PyTorch的计算图与动态图机制PyTorch的计算图与动态图机制一、计算图二、动态图 Dynamic Graphs一、计算图计算图是用来描述运算的有向无环图。计算图有两个主要的元素：结点 (Node) 和边 (Edge)。结点表示数据，如向量，矩阵，张量；边则表示要进行的运算，如加减乘除，卷积运算等。用计算图表示： y = (x + w) * (x + 1) 先把等式右边拆分， a = x + w b = x + 1

2020-09-08 22:19:59 654

原创张量操作与线性回归

张量操作与线性回归一、张量拼接与切分1.1 张量拼接1.1.1 torch.cat(tensor, dim=0,out=None)1.1.2 torch.stack(tensors, dim=0, out=None)1.2 张量切分1.2.1 torch.chunk(input, chunks, dim=0)1.2.12 torch.split(tensor, split_size_or_sections, dim=0)二、张量索引2.1 torch.index_select(input, dim, i..

2020-09-08 00:00:40 257

原创 PyTorch张量简介与创建

PyTorch张量简介与创建张量是什么张量：是指数学维度上的标量，向量，矩阵的多维拓展。标量：数学维度为0，只有大小没有方向的量，如单个数字1、2、3…向量：数学上是指既有方向又有大小的标量，但是在pytorch以及计算机领域内是类似于一维数组/列表的量。矩阵：二维的向量，用行列表达。在pytorch以及计算机领域用二维数组/二维列表表达，行列分别对应图像的高和宽。张量：三维及三维以上数组/列表的表达，例如，用pytorch生成一个(3, 4, 5)的随机张量import torchtor

2020-09-06 19:39:56 978

原创 PyTorch简介与GPU版本的安装

PyToch学习Pytorch简介Pytoch优点Pytorch适合人群Pytorch 安装(GPU版本)功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入小白一枚，在此做pytorch的学习，希望各位大神多多指教。Pytorch

2020-09-06 15:40:20 659 1

weixin_42154841的博客