自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(103)
  • 资源 (5)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Linux Root密码丢失怎么办--recovery模式下修改

(权威博客,亲测有效,不会丢失数据)Ubuntu / Centos 等Linux系统均有一个Recovery模式,参考官方的链接:https://wiki.ubuntu.com/RecoveryMode首先进入BIOS,发现进了主板的BIOS,并不需要进入系统长按Shift进入到选择界面,选择Advancedoptions选择recovery模式,kernel的版本可能有多个,一般选择第一个recovery mode就行Ubuntu GNU/Linux, with Linux.

2020-11-27 14:08:38 30

原创 Ubuntu Server 18.04 配置静态IP地址

一般服务器都要配置静态IP地址才能够正常访问,如何配置静态IP地址呢?(阅读时间1min左右)首先你得有申请的IP地址,假设记为 111.111.111.0Ubuntu18.08直接在 /etc/netplan/中的yaml文件里做配置即可,非常方便ls /etc/netplan/可以看到有01-netcfg.yaml文件备份这个文件cp01-netcfg.yaml01-netcfg.yaml.bak然后修改,注意要sudo,没有sudo的话先ESC返回sudo ..

2020-11-03 16:59:12 31

原创 Ubuntu深度学习环境搭建:Cuda 11 + PyTorch / TensorFlow

Ubuntu深度学习环境搭建包含如下的步骤:1.安装ubuntu 18.04 / centos 7.5 系统2.安装cuda / cudnn3.安装anaconda3 / PyTorch / TensorFlow1.安装ubuntu 18.041) 在安装之前,需要检测cuda版本,cudnn的支持情况,查看cudnn需要登录(注册)nvidia的网站,可以看到cudnn目前支持到18.04,很快就会有20.04.2)下载Cuda 11按照官方的方法wget下载,或者直.

2020-11-02 15:52:50 162

原创 RuntimeError: cublas runtime error : library not initialized

很可能就是batch_size设置过大,或者GPU资源已经满了

2020-10-17 10:10:33 24

原创 GLIBC_2.18 not found libstdc++.so.6

linux配置环境的时候,如果服务器系统环境有所变动,经常会遇到这个问题,有blog说,这是内核的问题,yum update内核;也有教程说下载一个glibc的,然后配置环境。然而升级GLIBC有风险,系统可能瘫痪:# lllibstdc++.so.6看看有两个libstdc++.so.6 ,分别是libstdc++.so.6.0.19和libstdc++.so.6.0.21,目前是指向libstdc++.so.6.0.19是对的。假如不小心某人改为指向libstdc++.so.6...

2020-10-04 19:37:21 29

原创 安装图神经网络利器Torch_geometric

安装图神经网络利器Torch_geometric遇到的问题:本来用的cuda是10.1nvcc --versionCuda compilation tools, release 10.1, V10.1.168PyTorch使用的是1.6.0按照教程应该安装$ pip install torch-scatter==latest+cu101 -f https://pytorch-geometric.com/whl/torch-1.6.0.html 可以却遇到了:Torch使用的是10.2.

2020-08-30 18:18:31 99

原创 linux/centos “command not found: shopt “ “~/.bashrc“

在某个时候,一些新手可能会把bashrc,极为重要的系统环境弄乱。所以千万不能给新手root权限,否则产生后果不堪设想。这个bug主要来源两个:以python anaconda3 的安装和配置为例。linux/centos系统默认的python环境有个anaconda3,某个人把这个系统环境覆盖掉之后,若再想改回来,则会出现这样的问题。这个也是因为一有用户使用zsh把默认的bash改为了zsh,zsh是一种power shell产品,在一些美化shell上做得还可以,但毕竟也属于比较少人用。自己

2020-08-13 15:41:08 50

原创 pip install python setup.py egg_info: ERROR: Command errored out with exit status 1

ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command o像这个错误可能的原因有很多,很多人甚至把,gcc, python, distutils, easy_install等一大堆东西重装后还是不能用。在错误中提到了'pytest-runner'其中一个比较简单的解决方法就是安装pytest-runnerpip install pytest-

2020-08-12 23:50:39 837

原创 ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9‘ not found

遇到一个这样的BUG,表面上是Sklearn爆出来的# from sklearn.model_selection import train_test_split但当我使用Jupyter的时候就没有这样的问题,非常奇怪,只有使用Pycharm远程访问服务器的时候才会出现这样的问题。在Debug模式或者Jupyter模式就没有这样的BUG,推测可能是Pycharm远程访问模块的一个BUG。这个Bug非常迷。...

2020-08-12 23:46:09 253

原创 Git失效xcrun: error: invalid active developer path (/Applications/Xcode.app/Contents/Developer)

卸载Xcode不小心把Git也弄坏了,出现了如下错误xcrun: error: invalid active developer path (/Applications/Xcode.app/Contents/Developer), missing xcrun at: /Applications/Xcode.app/Contents/Developer/usr/bin/xcrun网上有教程说要brew install git,坑解决方法:install xcode-selectxcode-s

2020-08-12 09:14:21 192 1

原创 Ubuntu Screen 后台启动程序安装与运行

Ubuntu很多程序需要一直跑,一种部署server,一种简单的程序,可以采用screen和tmux,也非常简单。如果你使用screen命令,服务器上没有安装相关的包,它会提示你安装的方法$ sudo apt install screen启动一个后台程序:screen -S xxxxxx是你给这个后台程序的命名在后台程序里运行一些简单的程序,可以持续地提供服务,例如Jupyter 。...

2020-08-05 10:32:18 85

原创 NVIDIA NVML Driver/library version mismatch

如果安装完了Cuda和Nvidia驱动遇到这种问题,nvidia-smi命令出现了NVIDIA NVML Driver/library version mismatch的错误,需要检查Nvidia驱动的版本,查看是否匹配。输入命令如下:ubuntu-drivers devices会显示:driver : nvidia-driver-418-server - distro non-freedriver : nvidia-driver-440-server - distro non..

2020-08-04 21:06:57 167

原创 PyTorch or TensorFlow : cuDNN error: CUDNN_STATUS_EXECUTION_FAILED, Cuda

很多时候这个错误都以为是Cuda安装的问题。其实并非全部如此,有一部分原因是你的GPU显存被占用光了,再运行就出错了。我就遇到过,rnn(embedded),使用LSTM/GRU处理Embedding后的序列,为何会出现这个问题。建议nvidia-smi查询一下GPU的使用情况,Kill -9 掉部分程序。尤其是使用Jupyter Lab运行的,没有即使释放显存,会出现这个问题。...

2020-07-24 14:42:41 200

原创 MXNet的初体验,MXNet的快速安装

刚好需要用到MXNet的模型,MXNet和TensorFlow一样,具有GPU和CPU版本。如果直接pip install mxnet调用GPU时,就会出错,直接程序关掉。或者出现"dmlcx xxxxx"一大堆的问题。现在各大深度学习框架,出了Caffe和PyTorch,基本上能够实现pip install 非常方便。首先查一下本服务器的Cuda环境,命令如下nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) .

2020-07-15 09:39:09 112

原创 Linux切换到gcc 7版本scl enable devtoolset-7

从gcc 4.8.5 切换到 gcc 7 方法如下:前提是你已经安装了gcc 7:使用如下命令scl enable devtoolset-7 bash切换前$ gcc --versiongcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-39)切换后:$ gcc --versiongcc (GCC) 7.3.1 20180303 (Re...

2019-12-14 15:29:56 2157 2

原创 PyTorch CUDA runtime error (59) : device-side assert triggered

出现这个问题原因很多,尤其是使用Jupyter时,一般而言,都是代码出错,或者多次运行。检查输入和模型是否批评。例如在运行BertModel时,如果num_labels指定错了,和你输入不匹配,就会造成这种问题。bert_config = BertConfig(vocab_size_or_config_json_file=30522, ...

2019-12-13 09:38:13 255

原创 GraphVite 大规模网络表示学习,如何使用你自己的数据,以LINE/DeepWalk为示例

GraphVite有两种方式,一种是使用Python接口,一种是使用命令行的方式。上两篇博客分别介绍了使用命令行和Python接口的方式。现在介绍下,1.随机生成一个graph,这里使用networkx里的工具,生成一个BA无标度的图,并保存为edge_list格式,import networkx as nxG = nx.barabasi_albert_graph(100, 2)nx...

2019-11-02 18:53:32 641 1

原创 GraphVite 大规模网络表示学习,DeepWalk示例

测试Graphvite实现的DeepWalk的表示学习在BlogCatalog中的效果。In [2]: import graphvite as gvIn [3]: import graphvite.application as gapIn [4]: app = gap.GraphApplication(dim=128)In [5]: app.load(file_name=gv.da...

2019-11-01 21:28:46 334

原创 GraphVite 大规模网络表示学习,LINE 示例

下载正常安装GraphVite不容易,如果你可以轻松安装,的确是运气很好。需要gcc版本,conda版本,机器环境刚好与作者相符合才行。然后运行,基本的示例graphvite baseline quick start如果PyTorch版本太低,会报错AttributeError: module 'torch' has no attribute ‘as_tensor'如果PyTo...

2019-11-01 21:25:37 331

原创 大规模网络表示学习库GraphVite安装

GraphVite重新实现了DeepWalk,LINE,Node2vec等方法,速度提高了几十倍,的确牛,不知道啥时候也能把我们等方法也实现上去,哈哈。这个Tangjian实验室提出了LINE,面向大规模的网络表示学习方法,同一时期,Tangjie也提出了另一个NetSMF,也是很不错。但是相比之下,还是GraphVite速度更快,支持方法也更广泛。实际上这三种方法DeepWalk,LINE,...

2019-11-01 15:39:11 270

原创 配置Conda镜像/源、清华镜像、conda 下载慢

conda 下载慢成狗,必须有镜像。设置如下:conda config --set show_channel_urls yesvim ~/.condarc可以输入:channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.e...

2019-11-01 15:21:24 775

原创 Could NOT find LOG4CXX : Centos7 / Ubuntu

如果是Centos7yum search log4cxx选择log4cxx-devel包log4cxx-devel.x86_64如果是unbuntusudo apt-get install liblog4cxx-dev

2019-11-01 09:20:35 229

原创 cannot found / missing: libgflags centos7 unbuntu

centos 7 编译时缺少 gflags包,需要安装yum install gflags-devel.x86_64如果是unbuntu,则sudo apt-get install libgflags-dev

2019-11-01 09:17:59 150

原创 修改Jupyter登陆密码

这是目前最简单易用的,修改Jupyter登陆密码的方法[xxx]$ jupyter-notebook passwordEnter password:Verify password:[NotebookPasswordApp] Wrote hashed password to /home/tiger/.jupyter/jupyter_notebook_config.json...

2019-10-29 11:24:47 439

原创 Segmentation fault when install torch_sparse and torch_scatter

Segmentation fault一般是c/c++的指针错误。在安装python包时,也会偶尔遇到。这个时候往往让你质疑人生,明明一切都可以,却出现了这样的错误,一般人也无法找到该错误的原因。其实这就是complier编译器版本的问题,往往是你用一个低版本的编译器去编译了高版本的代码。虽然时向下兼容,可能通过编译,但还是会出错,程序就是这么神奇。假设你已经安装好了高级版本的编译器。例如现...

2019-10-02 10:25:28 196

原创 yaml.constructor.ConstructorError: could not determine a constructor for the tag '!join'

需要安装yamlpip install PyYAML==3.12

2019-09-26 10:51:00 1368

原创 Linux Centos 7 Java 7 / 8 jdk 1.7/1.8 配置 权威版

目前Java已经到了10,Java 8和Java 7也大不一样,很多软件需要Java 8,大多机器还在Java 7,如何配置Java 8呢?网上教程纷纷,有些就这么简单的问题也实在说不到点子上,其实Linux Java配置很简单,所以写一篇博客,少走点弯路。Java 8 在2019年1月后的版本,已经不再支持开源任意下载,从开源走向商业闭源。可以理解也不能理解。1.下载。以前随意下...

2019-09-03 20:46:53 157

原创 TigerGraph 初探(2)

输入gsql命令[tiger@ ~]$ gsql目前图数据库是空的GSQL-Dev > ls---- Global vertices, edges, and all graphsVertex Types: - VERTEX user(PRIMARY_ID id STRING, fans_num INT) WITH STATS="OUTDEGREE_BY_EDGE...

2019-09-03 16:49:34 313 1

原创 PyTorch IDE hint incomplete PyCharm /VSCode 自动补全/自动提示,提示不完全的问题

PyTorch在Pycharm等IDE中提示不完全等问题,想必搞深度学习/AI的人甚为之头疼。而且你查资料,各种风骚操作,但最后,基本上,一个个都是:不能用!!!连谷歌也搜不到管用的东西。楼主也搜索了很多资料,然后丢掉。自己想了一想,方法其实很简单:按理说PyTorch 在1.0以后修复了此Bug,我觉得Facebook的那帮人测试做得贼不好。可能测试都是外包出去的。毕竟老美资本主...

2019-08-01 18:53:10 531

原创 Python中文文本分句 sentence tokenize

由于nltk等都没有实现句子级别的tokenize,或者文本分句。这里使用python正则,快速实现一个,可以把文本分成若干个小句子。代码如下,如果你想要实现自己个性化的分句,例如只考虑“。!”等的分句,可以调整正则项,“|”代表或的意思。def sent_tokenize(x): sents_temp = re.split('(:|:|,|,|。|!|\!|\.|?|\?)',...

2019-07-21 16:34:45 1553

原创 Pytorch torch.norm, torch.cosine_similarity 对向量或者张量计算Cosine相似度, 欧式距离

torch.cosine_similarity 可以对两个向量或者张量计算相似度>>> input1 = torch.randn(100, 128)>>> input2 = torch.randn(100, 128)>>> output = torch.cosine_similarity(input1, input2, dim=1)p...

2019-06-27 15:41:44 20701 3

原创 ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found

Python环境配置出错,10秒解决。例如我的python安装在/home/anaconda3下面,那么则需要修改环境配置:打开配置文件:vim ~/.bashrc导入环境:export LD_LIBRARY_PATH=/home/anaconda3/lib:$LD_LIBRARY_PATH使修改生效:source ~/.bashrc...

2019-06-02 15:34:45 180

原创 Conda / Anaconda : UnavailableInvalidChannel The channel is not accessible or is invalid.

UnavailableInvalidChannel: The channel is not accessible or is invalid. channel name: anaconda/pkgs/free channel url: https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free error code: 404...

2019-05-21 15:59:25 4231 6

原创 Installation issue: undefined symbol: __cudaPopCallConfiguration

这篇和CUDA安装以及Pytorch: ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'是姐妹篇,错误原因类似。mpi_lib.cpython-36m-x86_64-linux-gnu.so: undefined symbol:以及:ImportError: libcudart.so.9.0: cannot o...

2019-05-21 15:50:52 3179

原创 Pytorch: ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'

安装pytorch一些库的时候会遇到类似这样的错误;ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'ModuleNotFoundError: No module named 'torch_scatter.scatter_cuda'或者;往往都是因为CUDA配置不当造成的。请看我的博客,如何正确的配置CU...

2019-05-21 15:48:29 4765

原创 PyTorch : RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED

TensorFlow ImportError: libcublas.so.9.0: cannot open shared object file:PyTorch : RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED这两个问题放在一起解答,而引起的原因不同。PyTorch : RuntimeError: cuDNN err...

2019-05-15 23:57:41 1938 3

原创 Conda 使用技巧: Anaconda创建Python新环境envs

Anaconda 创建虚拟环境非常简单,网上一些教程写得真复杂,其实30秒搞定,例如在Anaconda3中创建Python2.7的环境,这也是大部分需要的,输入下面命令,提升安装一些包,选择yconda create -n py27 python=2.7这样就安装好了,从python3切换到python2也非常简单,只需一行命令,如下:source activate py27...

2019-05-07 21:04:05 4853

原创 网络表示学习系列Network Embedding / Graph Representation:教十分钟一步步实现DeepWalk 模型 KDD'14

DeepWalk : DeepWalk: Online Learning of Social Representations发表于KDD 14年。网络表示学习最近两年非常火热,这里的网络Network和图Graph意思相同,不再做区分。网络表示学习故名思义,是面向网络结构节点或者整个图的表示学习。输入一个G=(V,E),V包含了网络中的节点,E包含了网络中的连边。传统的网络表表达方法,我们...

2019-04-27 15:45:49 1165 2

原创 华为小米五年内笔记本业务能否超越联想?

华为小米五年内笔记本业务能否超越联想?这个问题很有意思。首先,对于笔记本PC市场,受到平板和手机热销影响,笔记本整体市场实际上销量会保持稳定中略有下滑。全球PC联想占据 21%, 800万台,国内业务占据联想25%。国内业务站虽然只占了25%,利润却占了75%,海外的联想持续亏损,国内的联想暴利,相同的产品,在美国比中国卖得便宜很多,再加上5G投票事件,这也是为何被扣上了美帝良心的外号。所以说...

2019-04-24 22:36:36 862

原创 Linux常用技巧系列: Centos7/Ubuntu 16.04 系统Cuda 8.0 / 9.0 安装 + Cudnn

推荐时间1min30s,网上已有多关于cuda安装教程,但往往不是这有问题,就是那有问题。这里写一个简单易懂可行的cuda 安装教程。1.下载Cudahttps://developer.nvidia.com/cuda-toolkit-archive上述链接可以下载到你想要的,如图然后右键copy link就可以下载了,下载命令是wget如下:wget https://dev...

2019-04-22 21:50:16 427

数据库系统概念中文版-第五版

当年大学用的教材,很经典。好好使用吧,语言通俗易懂,介绍也非常全面。

2012-04-18

oracle 11g 安装详解

看了这个,安装oracle11g不再发愁

2012-04-06

经典算法之cantor数表

本题为一个比较简单的数学基础算法,找规律题目。适合那些算法刚入门的同学参考一下。

2011-07-08

test.yaml 网络表示学习博客需要资源

网络表示学习示例,创建一个yaml文件,这里采用test.yaml,内容如下

2019-11-02

__init__.pyi

pytorch __init__.pyi文件,博客配套使用,修改pytorch的bug。

2019-08-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除