自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(47)
  • 收藏
  • 关注

原创 【测试开发】【postman】按顺序循环执行接口

在Collection Runner界面上,选择你的环境,然后点击“Start Run”按钮。也可以在Iterations设置循环次数,每次循环的延迟时间Delay。这会按顺序执行集合中的所有请求,根据每个请求中的postman.setNextRequest()设置的顺序来执行。点击右侧的“Run”按钮,这将打开Collection Runner界面。点击Postman界面左侧的你的集合名称。

2024-07-04 10:30:39 563

原创 【论文阅读记录】代码的可学习语义表示

论文标题:Neural Code Comprehension: A Learnable Representation of Code Semantics原文链接:Neural Code Comprehension: A Learnable Representation of Code Semantics说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想背景在代码学习表示领域,大多数试图直接处理代码或使用句法树表示。但是,由于功能调用,分支和可互换的语句顺序等结构...

2022-04-07 17:11:52 478

原创 【论文阅读笔记】使用结构代码嵌入检查智能合约

论文标题:Checking Smart Contracts With Structural Code Embedding原文链接Checking Smart Contracts With Structural Code Embedding | IEEE Journals & Magazine | IEEE Xplore说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想背景智能合约指是一个程序,当满足特定的预定义条件时,可以触发执行任何任务。智能合约越来越...

2022-04-07 11:13:01 5018

原创 【论文阅读笔记】自动化开发者聊天挖掘

论文标题:Automating Developer Chat Mining原文链接:Automating Developer Chat Mining | IEEE Conference Publication | IEEE Xplore说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想背景在开源软件 (OSS) 项目,聊天室中的大多数讨论线程都遵循问答格式,一些开发人员(提问者)提出最初的问题,而其他人(受访者)加入提供答案。这些讨论线程嵌入了丰富的信息,可以满...

2022-03-30 11:49:39 2198

原创 【论文阅读笔记】用于二进制代码相似性检测的语义感知神经网络

论文标题:Order Matters: Semantic-Aware Neural Networks for Binary Code Similarity Detection原文链接:https://ojs.aaai.org/index.php/AAAI/article/view/5466说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想和内容。背景二进制代码相似性检测,其目的是在不访问源代码的情况下检测相似的二进制函数,是计算机安全的一项基本任务。利用二进制代码的流程..

2022-03-12 16:54:12 1186 1

原创 【论文阅读笔记】NLP预训练语言模型综述

论文标题:Pre-trained Models for Natural Language Processing: A Survey原文链接:https://arxiv.org/pdf/2003.08271.pdf说明:在读研究生为方便记忆梳理学习,手写论文笔记,概括论文的主要思想和内容。

2022-03-04 22:12:00 219

原创 【论文阅读笔记】Post2Vec:学习StackOverflow帖子的分布式表示

论文标题:Post2Vec: Learning Distributed Representations of Stack Overflow Posts原文链接:https://ieeexplore.ieee.org/abstract/document/9469219说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想和内容。背景利用深度学习的方法与模型对StackOverflow帖子进行分布式表达的学习,然后将这些向量用于不同的下游任务。StackOverflow帖子主要包..

2022-03-02 22:09:29 383

原创 【论文阅读笔记】从在线开发者聊天中自动提取基于意见的问答

论文标题:Automatic Extraction of Opinion-based Q&A from Online Developer Chats原文链接:https://ieeexplore.ieee.org/abstract/document/9402078说明:在读研究生为方便记忆梳理学习,手敲论文笔记,概括论文的主要思想和内容。背景早期的对话助手专注于简短的、面向任务的对话(例如:播放音乐;查找附近的餐馆)。而针对于软件开发人员的对话助手的开发,更加复杂(例如:询问意见与..

2022-03-01 22:25:41 2391

转载 【Tensorflow2.0】去掉不足一个batch的多余数据

需要在数据的的batch中添加drop_remainder=True即可类似,如:train_dataset = tf.data.Dataset.from_tensor_slices((train_data, train_labels))train_dataset = train_dataset.shuffle(buffer_size=1024).batch(BATCH_SIZE, drop_remainder=True)

2021-12-13 09:41:07 639

原创 利用dockerfile生成镜像

1.在虚拟机安装docker1、检查内核版本,必须是3.10及以上uname -r2、安装dockeryum install docker3、输入y确认安装4、启动docker[root@localhost ~]# systemctl start docker[root@localhost ~]# docker -vDocker version 1.12.6, build 3e8e77d/1.12.65、开机启动docker[root@localhost ~]# systemctl e

2021-09-13 20:57:35 142

原创 【深度强化学习笔记】--第二节:马尔可夫决策过程

1.马尔可夫性质马尔可夫决策过程(Markov Decision Process, MDP)独有性质即当前时刻的状态仅与前一时刻的状态和动作有关,与其他时刻的状态和动作条件独立。等式右侧的条件概率被称为MDP的状态间的转移概率 。马尔可夫性质是所有马尔可夫模型共有的性质,但相比于马尔可夫链,MDP的转移概率加入了智能体的动作,其马尔可夫性质也与动作有关2.MDP基本组成部分状态集合动作集合状态转移概率函数奖励函数策略函数...

2021-08-20 16:34:06 273

原创 【深度强化学习笔记】--第一节:强化学习模型

1.强化学习强化学习(Reinforcement Learning, RL),又称再励学习、评价学习或增强学习,是机器学习的范式和方法论之一,用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 [1] 。强化学习的常见模型是标准的马尔可夫决策过程(Markov Decision Process, MDP)。按给定条件,强化学习可分为基于模式的强化学习(model-based RL)和无模式强化学习(model-free RL) [1] ,以及主动强

2021-08-19 22:47:56 2331

原创 【k8s】节点无法调度

【问题】部署pod任务,报错0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn’t match node selector.【解决方法】1.查看节点是否可调度kubectl get nodes2.如图,master被限制不可用3.讲pod部署到其他节点或者;联系root更改master的调度限制(一般不可取)...

2021-07-22 22:59:38 5534

原创 【flink on k8s】部署flink-operator

1.准备各个配置文件crd.yamlapiVersion: apiextensions.k8s.io/v1beta1kind: CustomResourceDefinitionmetadata: name: flinkapplications.flink.k8s.iospec: group: flink.k8s.io names: kind: FlinkApplication listKind: FlinkApplicationList plural: flin

2021-07-22 22:33:04 2300

原创 【PyTorch深度学习】 第十一讲:RNN基础

1.概念原理处理带有序列信息的数据RNNCell:线性层,循环执行2.3.

2021-07-20 11:16:24 192

原创 【PyTorch深度学习】 第十讲:CNN高阶

1.概念原理1x1卷积核:改变通道数量;减少运算的数量2.代码实现3.结果展示

2021-07-17 16:26:40 132

原创 【spark 虚拟机模式】提交maven项目的jar运行

1.maven项目pom.xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version><!--

2021-07-16 11:07:13 307

原创 【spark on k8s】部署问题

部署spark任务在Kubernetes上报错使用官方案例部署失败`21/07/14 02:19:14 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicableUsing Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties

2021-07-15 11:33:49 699

原创 【PyTorch深度学习】 第九讲:CNN基础

1.概念原理利用卷积盒,对数据矩阵进行相乘相加每个通道对应一个盒2.代码实现import torchfrom torchvision import transformsfrom torchvision import datasetsfrom torch.utils.data import DataLoaderimport torch.nn.functional as Fimport torch.optim as optim# prepare datasetbatch_size

2021-07-11 15:15:04 108

原创 【PyTorch深度学习】 第八讲:多分类

1.概念softMax:概率分布,将每个项的值/累加的值=每个结果出现的概率值NLLLoss:就是把输出与Label对应的那个值拿出来,再去掉负号,再求均值CrossEntropyLoss:就是把Softmax–Log–NLLLoss合并成一步2.代码实现import torchfrom torchvision import transformsfrom torchvision import datasetsfrom torch.utils.data import DataLoader

2021-07-10 22:18:28 189

原创 【PyTorch深度学习】 第七讲:加载数据集

1.原理单个样本 :得到比较好的随机性,较好的跨越鞍点;训练时间长batch:最大化提升向量计算优势,提高计算效率;性能较差mini-batch:均衡结果性能和计算速度2.新概念DateSet:抽象类,无法实例化;可继承DataLoader:加载数据3.代码实现import torchimport numpy as npfrom torch.utils.data import Datasetfrom torch.utils.data import DataLoader

2021-07-10 11:09:40 529

原创 【PyTorch深度学习】 第六讲:处理多维特征的输入

1.原理对数据矩阵使用广播机制降维操作2.代码实现import numpy as npimport torchimport matplotlib.pyplot as plt# prepare datasetxy = np.loadtxt('diabetes.csv', delimiter=',', dtype=np.float32)x_data = torch.from_numpy(xy[:, :-1])y_data = torch.from_numpy(xy[:, [-1]])

2021-07-06 23:00:51 84

原创 【PyTorch深度学习】 第五讲:逻辑斯蒂回归

1.原理添加激活函数,避免线性回归的无效2.代码实现import torch# import torch.nn.functional as F# prepare datasetx_data = torch.Tensor([[1.0], [2.0], [3.0], [4.0]])y_data = torch.Tensor([[0], [0], [1], [1]])# design model using classclass LogisticRegressionModel(tor

2021-07-06 22:55:53 208 2

原创 【PyTorch深度学习】 第四讲:用PyTorch实现线性回归

1.原理使用PyTorch的内部函数实现线性回归,训练模型2.代码展示# author:ZhuYuYing# data:2021/7/6# projectName:tor-startimport torchx_data = torch.tensor([[1.0], [2.0], [3.0]])y_data = torch.tensor([[2.0], [4.0], [6.0]])'''__init__() 初始化函数torch.nn.Linear 第一个参数

2021-07-06 22:16:00 135

原创 【PyTorch深度学习】 第三讲:反向传播

1.数学含义y = w * x2.含义解释使用pytorch的内置backward函数进行自动求导3.代码演示import torchx_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6.0]w = torch.tensor([1.0]) # 版本选择w.requires_grad = True #是否计算梯度def forward(x): return x * wdef loss(x,y):

2021-07-06 13:51:05 83

原创 【PyTorch深度学习】 第二讲:梯度下降

1.数学含义y = w * xcost = 1/n ∑(y_pred - y)^2grad = 2 * x * (x * w - y)2.含义解释线性回归反向传播对cost函数求w导得出w的变化率,更新w求得最佳3.代码实现import math# 数据x_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6.0]w = 1.999#线性传播,计算y = w * xdef forword(x): return x * w#

2021-07-04 21:54:41 93

原创 Kubernetes中用idea远程debug

新建Dockerfilevim Dockerfile

2021-07-04 21:10:21 2130

原创 【PyTorch深度学习】 第一讲:线性回归

1、数学含义y = w * xloss = (y_pred - y)^22.含义解释通过简单的线性函数来对未知数x及y建立映射在每次取不同的w时计算预测y_pred和真实值y的差值,以观看那个w最佳3.代码实现import numpy as npfrom matplotlib import pyplot as pltimport math# 数据x_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6.0]#线性传播,计算y = w * xd

2021-07-04 21:08:12 93

原创 spark案例-词频统计:存储数据库

1,读数据库数据实例 def getDataForDb() : DataFrame ={ //获取sparkSession val spark: SparkSession = SparkSession.builder().master("local").appName("getData") .config("spark.sql.shuffle.partitions", 1).getOrCreate() val properties: Properties = n

2021-06-15 09:30:12 372

原创 【spark】-异常整理第一篇

1.报错scala.util.matching.Regex.(Ljava/lang/String;Lscala/collection/Seq;)VException in thread "main" java.lang.NoSuchMethodError: scala.util.matching.Regex.<init>(Ljava/lang/String;Lscala/collection/Seq;)V at scala.collection.immutable.StringLike

2021-06-14 17:00:12 755 1

原创 spark-standalone搭建节点间无法建立链接-node: Permission denied, please try again.

root@node01:/usr/lib/spark/spark-3.1.2-bin-hadoop3.2# sbin/start-workers.sh root@node02's password: root@node01's password: node01: Permission denied, please try again.

2021-06-09 22:12:26 767 2

原创 web-thymeleaf开发错误集合

1.找不到静态页面Error resolving template [table/editable_table], template might not exist or might not be accessible by any of the configured Template Resolversorg.thymeleaf.exceptions.TemplateInputException: Error resolving template [table/editable_table], tem

2021-04-27 09:20:48 87

原创 maven编译打包运行错误--显示kotlin:Unresolved reference

Error:(3,19) kotlin: Unresolved reference: ibatis解决方法

2021-04-26 11:05:24 1052

原创 java编程错误汇总解决

1、java.lang.IndexOutOfBoundsException:错误索引超出边界异常,比如list中没有数据 你去取list[0] 没有这条数据 就汇报这个错误或者说你list.size()是5 你取list[6] 也会报这个错误2、java.lang.SecurityException: Prohibited package name: java.com.test.demo01方法首先对类名进行了检查,发现以java作为一级包名,则抛出安全异常:禁止使用的包名。换点java作为包名

2021-04-22 08:49:33 196

原创 报错org.thymeleaf.exceptions.TemplateInputException: Error resolving template解决方案

在使用springboot+thymeleaf写程序的时候,一直报错org.thymeleaf.exceptions.TemplateInputException: Error resolving template硬是搞了整整一天才解决,因为自己踩过坑了,所以,在这里,本人给出目前我所搜集到的所有报这个错的情况的解决方案。org.thymeleaf.exceptions.TemplateInputException: Error resolving template "xxx/xxx", template

2021-04-17 11:46:30 413

原创 【Ubuntu安装spark环境】----第三站----【spark安装】

Spark在大多数情况下适合Scala连在一起的,因此我们在安装Spark之前不妨先安装Spark1.安装配置Scalatar -zxvf scala-2.13.5.tgz -C /usr/scala配置环境变量# 打开profile文件vi /etc/profile# 配置变量export SCALA_HOME= /usr/scala/scala-2.13.5export PATH=$PATH:$SCALA_HOME/bin让变量生效source /etc/profile

2021-03-28 08:16:28 388

原创 【Ubuntu安装spark环境】----第二站----【hadoop安装】

1.创建hadoop用户$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码 $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限 $ su - hadoop #切换

2021-03-27 16:55:58 354

原创 【Ubuntu安装spark环境】----第一站----【虚拟机jdk环境配置】

一、配置jdk环境1.在jdk官网下载jdk包2.使用ssh链接工具将所下载的jdk安装包拖进ubuntu虚拟机中/或者用u盘中转,该文章有相关操作https://blog.csdn.net/echo245/article/details/1152557683.打开终端控制,进入rootsudo su root4.创建Java的目标路径文件夹mkdir /usr/lib/jvm5.解压jdk包...

2021-03-26 22:10:45 303

原创 使用u盘本地文件夹向ubuntu虚拟机传输文件

设置Ubuntu虚拟机中usb属性一般情况下新电脑的usb都是3.0就直接选3.1就好将文件复制到u盘再将u盘从主机文件夹中退出,然后重启虚拟机,重新插入u盘出现弹框确定即可

2021-03-26 21:37:05 2612

原创 spark简单小案例scala单词划分wordCount

新建maven工程项目添加pom.xml依赖 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifact

2021-03-24 17:24:51 275

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除