vincent_duan
码龄10年
  • 387,633
    被访问
  • 756
    原创
  • 4,132
    排名
  • 122
    粉丝
关注
提问 私信
  • 加入CSDN时间: 2012-07-08
博客简介:

vincent_duan的专栏

查看详细资料
  • 5
    领奖
    总分 1,420 当月 84
个人成就
  • 获得153次点赞
  • 内容获得101次评论
  • 获得652次收藏
创作历程
  • 6篇
    2022年
  • 119篇
    2021年
  • 140篇
    2020年
  • 214篇
    2019年
  • 35篇
    2018年
  • 81篇
    2017年
  • 93篇
    2016年
  • 82篇
    2015年
成就勋章
TA的专栏
  • GNN
    10篇
  • 工具
    1篇
  • python
    30篇
  • DataWhale
    1篇
  • pyg
    7篇
  • 机器学习
    40篇
  • pytorch教程
    20篇
  • DGL
    5篇
  • pandas
    3篇
  • trans系列
    10篇
  • Latex
    1篇
  • FusionInsight HD
    1篇
  • Spark Streaming
    4篇
  • 网络安全
    6篇
  • 计算机网络
    19篇
  • spark
    33篇
  • Apache Flink
    33篇
  • elasticsearch
    48篇
  • Hadoop
    43篇
  • 杂七杂八
    9篇
  • docker
    45篇
  • Adobe PhotoShop
    2篇
  • spring
    43篇
  • 并发
    19篇
  • Adobe Premiere Pro
    4篇
  • sed
    8篇
  • Linux
    85篇
  • 算法
    3篇
  • 前端
    28篇
  • java
    76篇
  • 菜谱
    20篇
  • openstack
    1篇
  • 知识图谱
    4篇
  • 其他
    24篇
  • git
    6篇
  • mysql
    34篇
  • redis
    1篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
  • 数据库管理
    数据仓库
  • 最近
  • 文章
  • 帖子
  • 收藏
搜TA的内容
搜索 取消

Elasticsearch8重置elastic用户密码

如果Elasticsearch忘记了超级管理员的密码,可以进行重置:./bin/elasticsearch-reset-password -u elastic -i-u表示需要修改的用户名-i 表示交互式,可以自己指定密码,默认的是系统自动分配。
原创
发布博客 12 小时前 ·
3 阅读 ·
0 点赞 ·
0 评论

python连接Elasticsearch8.x

1. 不使用用户名密码连接Elasticsearch8.x默认会开启安全连接,因此我们在第一次安装配置Elasticsearch时需要将安全策略关闭。关闭方式就是修改elasticsearch.yml文件,在文件中添加:xpack.security.enabled: falsexpack.security.http.ssl.enabled: false使用pip install elasticsearch安装Python的关于es的依赖包,安装完成之后查看:>> pip list |
原创
发布博客 2022.05.09 ·
496 阅读 ·
1 点赞 ·
0 评论

elasticsearch 8.0 python使用API操作

1. 初始化esfrom elasticsearch import Elasticsearches = Elasticsearch([{'host': '192.168.171.81', 'port': 9200}], timeout=3600)2. 创建indexrequest_body={ "mappings": { "properties": { "name": {"type": "keyword"}, "age": {"t
原创
发布博客 2022.05.06 ·
988 阅读 ·
0 点赞 ·
0 评论

vscode运行conda出现 “无法加载文件C:\Users\WindowsPowerShell\profile.ps1,因为在此系统上禁止运行脚本” 的错误

首先在Windows搜索框中查找powershell,并以管理员身份运行。执行:get-ExecutionPolicy,回复Restricted,表示执行策略是禁止的。执行:set-ExecutionPolicy RemoteSigned,将执行策略设置为RemoteSigned,因为当前用户的执行策略优先于为本地计算机设置的执行策略。...
原创
发布博客 2022.03.03 ·
557 阅读 ·
0 点赞 ·
0 评论

最新elasticsearch 8.0 安装配置

2022 年 2 月 11 日,Elastic 8.0 正式发布。这里进行试用。首先下载elasticsearch-8.0.1-linux-x86_64.tar.gz,并解压修改配置文件elasticsearch.yml:cluster.name: elasticsearchnode.name: node-1node.attr.rack: r1path.data: /home/$USER/app/elasticsearch-8.0.1/data/path.logs: /home/$USER/
原创
发布博客 2022.03.02 ·
2873 阅读 ·
0 点赞 ·
0 评论

linux 通过lvm合并磁盘

服务器新增了磁盘:/dev/sdc,/dev/sdd,/dev/sdb,/dev/sdb,并且每个下面都有一个分区,我们需要把他们合并成一个磁盘分区。这里使用lvm首先先卸载:umount /dev/sdcumount /dev/sddumount /dev/sdbumount /dev/sde安装lvm2:sudo apt install lvm2开启lvm服务:systemctl enable lvm2-lvmetad.servicesystemctl enable lvm2-l
原创
发布博客 2022.01.25 ·
503 阅读 ·
0 点赞 ·
0 评论

java 使用maven 打包 添加本地lib包

pom.xml中引入三方jar:<dependency> <groupId>test</groupId> <artifactId>test(名字可以自己定)</artifactId> <version>1.0</version> <scope>system</scope> <systemPath>C:/lib/test.jar 本地jar包的绝对.
原创
发布博客 2021.12.31 ·
720 阅读 ·
0 点赞 ·
0 评论

DataWhale sklearn学习笔记(一)

线性回归数据生成:生成数据的思路是设定一个二维的函数(维度高了没办法在平面上画出来),根据这个函数生成一些离散的数据点,对每个数据点我们可以适当的加一点波动,也就是噪声,最后看看我们算法的拟合或者说回归效果。import numpy as npimport matplotlib.pyplot as plt def true_fun(X): # 这是我们设定的真实函数,即ground truth的模型 return 1.5*X + 0.2np.random.seed(0) # 设置随机
原创
发布博客 2021.12.13 ·
1766 阅读 ·
0 点赞 ·
0 评论

sklearn下的ROC与AUC原理详解

ROC全称Receiver operating characteristic。定义TPR:true positive rate,正样本中分类正确的比率,即TP/(TP+FN),一般希望它越大越好FPR:false negtive rage,负样本中分类错误的比率,即FP/(FP+TN),一般希望它越小越好ROC曲线:以FPR作为X轴,TPR作为y轴roc_curve函数的原理及计算方式要作ROC曲线,需要计算FPR及对应的TPR。对于一个给定的预测概率,设定不同的阈值,预测结果会不一样。例如我
转载
发布博客 2021.12.10 ·
338 阅读 ·
0 点赞 ·
0 评论

Pytorch教程(十九)torch.cat与torch.stack的区别

这一节,将分析拼接(concatenating)和叠加(stacking)张量的区别。首先看三个例子,一个是pytorch,一个是TensorFlow,一个是numpy。stack和cat张量之间的区别可以用一句话描述:Concatenating joins a sequence of tensors along an existing axis, and Stacking joins a sequence of tensors along a new axis.也就是说cat是在已有的轴上进行
原创
发布博客 2021.12.05 ·
1278 阅读 ·
0 点赞 ·
0 评论

creating a tensor from a list of numpy.ndarray is extremely slow Please consider converting the lis

我的代码如下node_2_neg_list = [torch.LongTensor(node) for node in node_2_negative]其中node_2_negative是一个list,里面有16个元素:每个元素又是一个list,里面与10个元素:而每个元素中又包含10个元素:所以这是一个list嵌套list的情况,而我们执行上面的代码,提示信息:creating a tensor from a list of numpy.ndarray is extremely slo
原创
发布博客 2021.12.04 ·
4080 阅读 ·
2 点赞 ·
0 评论

DGL教程【五】使用自己的数据集

如果想构建自己的数据集,应该继承dgl.data.DGLDataset类,并且实现下面的方法:__getitem__(self,i):得到数据集的第i个数据,__len__(self):数据集的大小process(self):从硬盘加载和处理原始数据这里使用一个小数据集Zachary’s Karate Club network,包含:menbers.csv文件包含每个成员的属性interactions.csv文件包含两个成员的关系import urllib.requestimport
原创
发布博客 2021.11.26 ·
713 阅读 ·
3 点赞 ·
4 评论

DGL教程【四】使用GNN进行链路预测

在之前的介绍中,我们已经学习了使用GNN进行节点分类,比如预测一个图中的节点所属的类别。这一节中我们将教你如何进行链路预测,比如预测任意两个节点之间是不是存在边。本节你将学到:构建一个GNN的链路预测模型在一个小的DGL数据集上训练和评估模型链路预测在很多应用中,例如社交推荐、商品推荐以及知识图谱补全中都存在链路预测,就是判断两个节点之间是不是存在一条边。本节将使用论文引用关系数据集,判断两篇论文是否存在引用关系。这个教程将链路预测定义为一个二分类的问题:将图中的每个边都视为正样本对不
原创
发布博客 2021.11.26 ·
1237 阅读 ·
5 点赞 ·
9 评论

稀疏矩阵之scipy中的coo_matrix函数

>>> # Constructing a matrix using ijv format>>> row = np.array([0, 3, 1, 0])>>> col = np.array([0, 3, 1, 2])>>> data = np.array([4, 5, 7, 9])>>> coo_matrix((data, (row, col)), shape=(4, 4)).toarray()array
原创
发布博客 2021.11.25 ·
238 阅读 ·
0 点赞 ·
0 评论

DGL教程【三】构建自己的GNN模块

有时,利用现有的GNN模型进行堆叠无法满足我们的需求,例如我们希望通过考虑节点重要性或边权值来发明一种聚合邻居信息的新方法。本节将介绍:DGL的消息传递API自己实现一个GraphSage卷积模型消息传递GNNDGL遵循消息传递范式,很多GNN模型往往都遵循下面的这个架构:DGL 称M(l)M^{(l)}M(l)为一个消息函数,∑\sum∑是一个聚合函数,U(l)U^{(l)}U(l)是一个更新函数。需要注意的是这里的∑\sum∑可以代表任意一个方法,而不仅仅是一个求和函数。例如大名鼎
原创
发布博客 2021.11.25 ·
272 阅读 ·
0 点赞 ·
0 评论

DGL教程【二】如何通过DGL表示一个Graph

通过本节,将学到:从头开始用DGL构建一个Graph给Graph添加节点和边的特征获取一些图的信息,如节点的度或节点的其他属性将DGL graph 转换到另一个graph加载、保存DGL graph从头构建GraphDGL通过DGLGraph对象来创建一个有向图,我们可以直接通过指定节点,以及src节点和target节点来创建一个graph。节点的id从0开始。例如下面一段代码构建了一个有向星型图,共有6个节点,中心节点的id是0,边分别是从中心到叶子节点。import dglimp
原创
发布博客 2021.11.24 ·
809 阅读 ·
0 点赞 ·
1 评论

DGL教程【一】使用Cora数据集进行分类

首先安装dglpip install dgl -i https://pypi.douban.com/simple/加载Cora数据集import dgl.datadataset = dgl.data.CoraGraphDataset()print('Number of categories:', dataset.num_classes)这样会自动下载Cora数据集到Extracting file to C:\Users\vincent\.dgl\cora_v2\目录下,输出结果如下:Dow
原创
发布博客 2021.11.24 ·
1034 阅读 ·
1 点赞 ·
3 评论

pandas读取excel,设置默认读取类型

读取excel的时候,需要将float转为str,代码如下:country_df = pd.read_excel('data0818/A_DATA.xls', dtype=str)print(country_df.to_json(orient="records"))
原创
发布博客 2021.11.22 ·
938 阅读 ·
0 点赞 ·
0 评论

Pytorch教程(十八)tensor的保存为csv,并加载

保存有一个tensor数据需要保存,这时训练好的一个节点embedding:我们需要把结果保存下来:刚开始使用的是:np.savetxt('./obj/model.csv',model.encode().numpy(),fmt='%.2f',delimiter=',')但是运行报错:提示说要使用tensor.detach().numpy()detach()方法的作用是从计算图中脱离出来。返回一个新的tensor,新的tensor和原来的tensor共享数据内存,但不涉及梯度计算,即req
原创
发布博客 2021.11.19 ·
1944 阅读 ·
2 点赞 ·
0 评论

PYG教程【五】链路预测

链路预测是网络科学里面的一个经典任务,其目的是利用当前已获取的网络数据(包含结构信息和属性信息)来预测网络中会出现哪些新的连边。本文计划利用networkx包中的网络来进行链路预测,因为目前PyTorch Geometric包中封装的网络还不够多,而很多网络方便用networkx包生成或者处理。环境配置首先,安装一个工具包,DeepSNAP。这个包提供了networkx到PyTorch Geometric的接口,可以方便地将networkx中的网络转换成PyTorch Geometric所要求的数据格
原创
发布博客 2021.11.18 ·
1263 阅读 ·
1 点赞 ·
0 评论
加载更多