Python
东方小烈
这个作者很懒,什么都没留下…
展开
-
ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9‘ not found
遇到一个这样的BUG,表面上是Sklearn爆出来的# from sklearn.model_selection import train_test_split但当我使用Jupyter的时候就没有这样的问题,非常奇怪,只有使用Pycharm远程访问服务器的时候才会出现这样的问题。在Debug模式或者Jupyter模式就没有这样的BUG,推测可能是Pycharm远程访问模块的一个BUG。这个Bug非常迷。...原创 2020-08-12 23:46:09 · 937 阅读 · 1 评论 -
pip install python setup.py egg_info: ERROR: Command errored out with exit status 1
ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command o像这个错误可能的原因有很多,很多人甚至把,gcc, python, distutils, easy_install等一大堆东西重装后还是不能用。在错误中提到了'pytest-runner'其中一个比较简单的解决方法就是安装pytest-runnerpip install pytest-原创 2020-08-12 23:50:39 · 2280 阅读 · 1 评论 -
GraphVite 大规模网络表示学习,如何使用你自己的数据,以LINE/DeepWalk为示例
GraphVite有两种方式,一种是使用Python接口,一种是使用命令行的方式。上两篇博客分别介绍了使用命令行和Python接口的方式。现在介绍下,1.随机生成一个graph,这里使用networkx里的工具,生成一个BA无标度的图,并保存为edge_list格式,import networkx as nxG = nx.barabasi_albert_graph(100, 2)nx...原创 2019-11-02 18:53:32 · 1104 阅读 · 1 评论 -
GraphVite 大规模网络表示学习,DeepWalk示例
测试Graphvite实现的DeepWalk的表示学习在BlogCatalog中的效果。In [2]: import graphvite as gvIn [3]: import graphvite.application as gapIn [4]: app = gap.GraphApplication(dim=128)In [5]: app.load(file_name=gv.da...原创 2019-11-01 21:28:46 · 568 阅读 · 0 评论 -
GraphVite 大规模网络表示学习,LINE 示例
下载正常安装GraphVite不容易,如果你可以轻松安装,的确是运气很好。需要gcc版本,conda版本,机器环境刚好与作者相符合才行。然后运行,基本的示例graphvite baseline quick start如果PyTorch版本太低,会报错AttributeError: module 'torch' has no attribute ‘as_tensor'如果PyTo...原创 2019-11-01 21:25:37 · 553 阅读 · 0 评论 -
修改Jupyter登陆密码
这是目前最简单易用的,修改Jupyter登陆密码的方法[xxx]$ jupyter-notebook passwordEnter password:Verify password:[NotebookPasswordApp] Wrote hashed password to /home/tiger/.jupyter/jupyter_notebook_config.json...原创 2019-10-29 11:24:47 · 977 阅读 · 0 评论 -
Linux常用技巧系列: Centos7/Ubuntu 16.04 系统Cuda 8.0 / 9.0 安装 + Cudnn
推荐时间1min30s,网上已有多关于cuda安装教程,但往往不是这有问题,就是那有问题。这里写一个简单易懂可行的cuda 安装教程。1.下载Cudahttps://developer.nvidia.com/cuda-toolkit-archive上述链接可以下载到你想要的,如图然后右键copy link就可以下载了,下载命令是wget如下:wget https://dev...原创 2019-04-22 21:50:16 · 820 阅读 · 0 评论 -
网络表示学习系列Network Embedding / Graph Representation:教十分钟一步步实现DeepWalk 模型 KDD'14
DeepWalk : DeepWalk: Online Learning of Social Representations发表于KDD 14年。网络表示学习最近两年非常火热,这里的网络Network和图Graph意思相同,不再做区分。网络表示学习故名思义,是面向网络结构节点或者整个图的表示学习。输入一个G=(V,E),V包含了网络中的节点,E包含了网络中的连边。传统的网络表表达方法,我们...原创 2019-04-27 15:45:49 · 1930 阅读 · 3 评论 -
PyTorch和TensorFlow如何实现双向循环神经网络RNN/LSTM/GRU的?
说起循环神经网络,如果需要自己去实现一个双向RNN/LSTM/GRU模型,那么如何去实现呢?首先需要熟悉循环神经网络的基本原理。假如输入的序列是{} (不得不吐槽,csdn公式编辑器有点烂),是1时刻下单词对应的向量,假设是1*128维度的。实际上,正向的LSTM,就是从左往右走,计算一遍LSTM,得到{},这里是1时刻的输出,也是个向量。有些博客和教程用来表示,比容易弄混淆,使用其实...原创 2019-04-22 16:22:29 · 4539 阅读 · 2 评论 -
Linux常用技巧系列图文教程
Linux常用技巧系列一期基本上就讲这么多了,可能某培训班几千的课程也就那样,即便是啃Linux私房菜,花时间太久,还没入门就放弃了。这里推出一个非常轻量的图文教程,非常容易上手,对于大多数程序员、科学家、研究人员、其他行业者基本足够。如果你专注些,基本上1天就能看完。对Linux常见命令有个大概对认识,没那么恐慌。如果Linux系统维护专家,还需要继续钻研。亲测有效,如有问题,敬请勘误。...原创 2019-04-08 21:17:30 · 163 阅读 · 0 评论 -
Linux常用技巧系列: Linux创建软链接ln -s,(更改cuda版本,从8.0到9.0,Cuda多版本共存, 图文教程)
创建软连接在系统崩溃的时候也是经常用的功能,如果你已经需要用到,说明你对Linux系统已经有了一定的熟练程度。尤其在配置和修复mysql,配置cuda,不同版本的切换的时候,会用到。用法也非常简单:ln -s source_dir target_dirln -s 源目录 目标目录而且一般要sudo权限例如给/usr/local/cuda/下的cuda指向你安装在/usr/loc...原创 2019-04-08 21:11:28 · 3634 阅读 · 1 评论 -
Linux常用技巧系列: 压缩和解压文件tar, zip, unzip, 7zip (图文教程)
适用于Centos7 Ubuntu 系统1.Linux解压文件常用的压缩文件有xxx.tar.gz或者xxx.zip,或者7zip, 7zip压缩效率较高,一般用于超大文件如果还没安装zip和unzipcentos 7则使用yum install zip unzipUbuntu则使用 sudo apt-get install zip unzip如果还没有安装7zipce...原创 2019-04-08 20:55:32 · 3049 阅读 · 0 评论 -
Linux常用技巧系列: 文件权限管理chmod 777 (permission denied)
linux 中常常遇到权限不够的问题,一种提升用户的权限,例如su或者sudo,然后输入root用户密码。另一种,赋予文件读写访问权限,给予文件权限最为常见 chmod 777 最高权限,可读、可写、可执行。例如chmod 777 tmpdir,给tmpdir目录最高权限。chmod -R 777 * 给当前目录下所有文件。命令后,会发现赋予最高权限的文件或文件夹会变亮。[r...原创 2019-04-08 20:43:38 · 8743 阅读 · 0 评论 -
Linux常用技巧系列:查询进程号、kill进程 (centos7 / ubuntu适用 图文教程)
1.杀死进程kill -9 xxx(最为常用),或者 killall -9 NAME如果强制kill,可以加sudo kill -9 xx例如,首先查询进程,例如查询和python相关的进程,如何查询进程见下文。root@localhost ~]# ps -ef | grep pythonroot 1565 1 0 Apr03 ? 00:00...原创 2019-04-08 20:34:19 · 2329 阅读 · 0 评论 -
PyTorch IDE hint incomplete PyCharm /VSCode 自动补全/自动提示,提示不完全的问题
PyTorch在Pycharm等IDE中提示不完全等问题,想必搞深度学习/AI的人甚为之头疼。而且你查资料,各种风骚操作,但最后,基本上,一个个都是:不能用!!!连谷歌也搜不到管用的东西。楼主也搜索了很多资料,然后丢掉。自己想了一想,方法其实很简单:按理说PyTorch 在1.0以后修复了此Bug,我觉得Facebook的那帮人测试做得贼不好。可能测试都是外包出去的。毕竟老美资本主...原创 2019-08-01 18:53:10 · 981 阅读 · 0 评论 -
Python中文文本分句 sentence tokenize
由于nltk等都没有实现句子级别的tokenize,或者文本分句。这里使用python正则,快速实现一个,可以把文本分成若干个小句子。代码如下,如果你想要实现自己个性化的分句,例如只考虑“。!”等的分句,可以调整正则项,“|”代表或的意思。def sent_tokenize(x): sents_temp = re.split('(:|:|,|,|。|!|\!|\.|?|\?)',...原创 2019-07-21 16:34:45 · 3579 阅读 · 0 评论 -
ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found
Python环境配置出错,10秒解决。例如我的python安装在/home/anaconda3下面,那么则需要修改环境配置:打开配置文件:vim ~/.bashrc导入环境:export LD_LIBRARY_PATH=/home/anaconda3/lib:$LD_LIBRARY_PATH使修改生效:source ~/.bashrc...原创 2019-06-02 15:34:45 · 506 阅读 · 0 评论 -
Conda / Anaconda : UnavailableInvalidChannel The channel is not accessible or is invalid.
UnavailableInvalidChannel: The channel is not accessible or is invalid. channel name: anaconda/pkgs/free channel url: https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free error code: 404...原创 2019-05-21 15:59:25 · 6097 阅读 · 6 评论 -
Installation issue: undefined symbol: __cudaPopCallConfiguration
这篇和CUDA安装以及Pytorch: ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'是姐妹篇,错误原因类似。mpi_lib.cpython-36m-x86_64-linux-gnu.so: undefined symbol:以及:ImportError: libcudart.so.9.0: cannot o...原创 2019-05-21 15:50:52 · 3711 阅读 · 0 评论 -
Pytorch: ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'
安装pytorch一些库的时候会遇到类似这样的错误;ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'ModuleNotFoundError: No module named 'torch_scatter.scatter_cuda'或者;往往都是因为CUDA配置不当造成的。请看我的博客,如何正确的配置CU...原创 2019-05-21 15:48:29 · 8126 阅读 · 0 评论 -
PyTorch : RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
TensorFlow ImportError: libcublas.so.9.0: cannot open shared object file:PyTorch : RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED这两个问题放在一起解答,而引起的原因不同。PyTorch : RuntimeError: cuDNN err...原创 2019-05-15 23:57:41 · 3021 阅读 · 3 评论 -
Conda 使用技巧: Anaconda创建Python新环境envs
Anaconda 创建虚拟环境非常简单,网上一些教程写得真复杂,其实30秒搞定,例如在Anaconda3中创建Python2.7的环境,这也是大部分需要的,输入下面命令,提升安装一些包,选择yconda create -n py27 python=2.7这样就安装好了,从python3切换到python2也非常简单,只需一行命令,如下:source activate py27...原创 2019-05-07 21:04:05 · 9196 阅读 · 0 评论 -
TensorFlow (keras) 房价回归预测模型 Coursera深度学习课程分享
这个课程实在太简单,一步步构建一个最最基本的回归模型,代码如下。import tensorflow as tffrom tensorflow import kerasfrom keras.models import Sequentialfrom keras.layers import Denseimport numpy as npimport matplotlib.pylab as p...原创 2019-04-11 17:36:45 · 1249 阅读 · 0 评论 -
TensorFlow(Keras) 一步步实现Fashion MNIST衣服鞋子图片分类 (2) Coursera深度学习教程分享
@[TOC](Coursera TensorFlow(Keras) 一步步手写体Fashion Mnist识别分类(2) Tensorflow和ML, DL 机器学习/深度学习Coursera教程分享 )Fashion MNIST数据简介相信很多人,对于Mnist这个数据集都已经学腻了。现在出了个Fashion Mnist更加有趣,而且tensorflow/keras自带这个数据集非常方便调用...原创 2019-04-11 13:25:05 · 1826 阅读 · 4 评论 -
Linux常用技巧系列: Centos 7 / Ubuntu 清空内存缓存
检查内存占用清空,free -m[root@localhost tiger]# free -m total used free shared buff/cache availableMem: 128507 1896 99162 11 27448...原创 2019-04-08 09:15:25 · 420 阅读 · 0 评论 -
Jupyter notebook 远程server打开时遇到 socket.gaierror: [Errno -2] Name or service not known
(推荐阅读时间,30s)这个问题主要是由于远程打开的时候,并没有allow_remote_access=True输入命令vim ~/.jupyter/jupyter_notebook_config.py加入c.NotebookApp.allow_remote_access=True ,如下## The IP address the notebook server will...原创 2019-03-26 11:52:27 · 3547 阅读 · 2 评论 -
Linux常用技巧系列: pip源配置篇
(推荐阅读1min)Centos / Ubuntu在国内pip安装包会访问国外的网站,可能会很慢,需要配置 pip源,注意使用如下命令vim ~/.pip/pip.conf可能没法进行修改,因为你没有.pip文件夹。所以如果没有~/.pip文件夹,需要创建~/.pip文件夹,再vim ~/.pip/pip.conf就能修改成功了。即# mkdir ~/.pi...原创 2019-03-26 08:40:51 · 3395 阅读 · 0 评论 -
Linux常用技巧系列: Screen后台进程创建、管理篇
(阅读时间1min)Screen开启后台运行的进程也是非常常用的功能。1.创建:使用screen创建一个后台终端。screen -s xxxxxx是你的进程名称。2.查看。tiger@xx1:~$ screen -lsThere is a screen on: 25330.jupyter1 (03/14/2019 06:48:59 PM) (Detached)1 S......原创 2019-03-26 07:46:27 · 2054 阅读 · 3 评论 -
Python Matplotlib AttributeError: 'module' object has no attribute 'popall'
AttributeError: 'module' object has no attribute 'popall'调用Matplotlib发现这个错误,查看Pycharm发现两个matplotlib并存,先卸载重新安装即可,记得conda安装,否则可能无法重新安装。pip uninstall matplotlibconda install matplotlib原创 2018-01-13 15:53:14 · 5437 阅读 · 0 评论 -
Python数组统计排序问题
这里使用Counter这个类,很容易,只要采用使用lambda函数,很容易解决from collections import Countertimes_intervals = [1,2,3,4,5,5,6,6]times_count = Counter(times_intervals)print times_counttimes_sorted = sorted(times_count.ite原创 2017-10-05 11:46:03 · 608 阅读 · 0 评论 -
ImportError: No module named Tkinter
Centos 系统里使用原装的Python一般才会报这样的错误,解决方法很简单。在consle里输入命令:yum install -y tkinter解决!原创 2017-10-05 11:39:57 · 527 阅读 · 0 评论 -
TransE 知识图谱资料整理
国内做知识图谱比较有名的有刘知远老师,国外的话是Bengio团队里的Bordes,当然我最近主要关注的是TransE的方法及后续改进型,比较有名的改进方法包括TransH和TransR,GitHub上也有相关的代码,接下来我会写一个相关的资料总结和代码分析文档,下面是一些很General的资料链接,首先分享起来http://blog.csdn.net/u011274209/article/de原创 2017-07-05 20:13:27 · 8477 阅读 · 0 评论 -
Pycharm or Intellij IDEA Cannot load settings from file workspace.xml
如果遇到无法从Workspae.xml导入配置的问题,往往都是因为断电或者其它突发原因造成Pycharm 或者Intellij IDEA异常关闭,缓存有问题或者没来得及缓存。解决方法很简单,找到该文件夹,删除workspace.xml,重新打开该项目,系统会新建一个workspace.xml。原创 2017-05-31 10:58:18 · 8305 阅读 · 2 评论 -
ValueError('You appear to be using a legacy multi-label data'
使用sklearn时,遇到该问题,可能是因为scikit-learn版本过旧或者太新pip install -U scikit-learn==0.16.1 就能解决当然在0.17之后,已经不允许直接使用多类标分类Direct support for sequence of sequences multilabel representation will be unavailab原创 2017-05-07 12:20:00 · 4993 阅读 · 0 评论 -
十分钟理解Scipy.csc_matrix和coo_matrix
Scipy中常见的几类矩阵,包括lil_matrix和csc_matrix、coo_matrix,最近在研究网络结构的表示学习,需要使用这些工具。官方文档其实已经讲得比较详细了,我这里再补充一点,把问题讲得更加简单明白。csc_matrix:Example>>> import numpy as np>>> from scipy.sparse impor原创 2017-05-07 13:15:33 · 33596 阅读 · 4 评论 -
Centos Linux 下Pycharm 安装
Windows下Pycharm安装自然不用多说,下载Pycharm安装包,一步步选择设置即可。在安装前,需要配置Java环境,Java环境的配置也非常容易,网上教程比比皆是,当然Centos或者Linux下安装Pycharm也需要Java环境,实际上安装过程非常简单。下载Pycharm安装包,网上很多教程里的,这个网址已经不复存在wget http://download.jetbr原创 2017-01-25 16:43:55 · 16943 阅读 · 0 评论 -
Python NLTK Downloader raise LookupError(resource_not_found) 自然语言处理
使用Python nltk的时候,可能会遇到LookupError的错误,从错误中可以看到punkt这个模块没有找到raise LookupError(resource_not_found)LookupError: ********************************************************************** Resource u't原创 2017-01-19 22:17:01 · 4545 阅读 · 0 评论 -
Python将时间字符串00:00:03转化为每天从凌晨算起的秒数
def split_time(time_str = None): time_str = "00:00:03" line = time_str.split(":") seconds = int(line[0])*3600 + int(line[1])*60 + int(line[2]) print(seconds) return seconds3原创 2016-10-16 21:40:31 · 2027 阅读 · 0 评论 -
Linux常用技巧系列:Jupyter远程Server配置篇
(推荐阅读时间,2min)Jupyter Notebook和Jupyter Lab是机器学习和深度学习常用工具,本地安装Jupyter和运行非常方便,这里一笔带过。如果你安装anaconda或者miniconda,直接就自带Jupyter,在命令行里输入jupyter notebook,就启动了服务。如果没有输入命令:pip install jupyter或 pip3 in...原创 2019-03-26 12:12:07 · 1641 阅读 · 0 评论 -
Linux常用技巧系列:Cuda查询版本篇
(推荐阅读时间20s)cuda版本查询很简单,只需使用命令nvcc —version和which nvcc[root@localhost ~]# which nvcc/usr/local/cuda-8.0/bin/nvcc[root@localhost ~]# nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCop...原创 2019-03-26 13:11:49 · 731 阅读 · 0 评论