- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 GPU进程暂停（CTRL+Z）后，进程保留，显存保留，需要清理进程释放缓存。
在shell命令行中通过CTRL+Z对正在执行的shell命令进行干预，是起到“暂停”的作用，CTRL+C才是停止当前运行的进程。如果进程被“暂停”，显存仍被占用，则需要通过主动kill进程来释放GPU缓存。1、首先通过以下shell命令来查看目前正在运行的python（或其他）程序。2、通过sudokill-9PID来强制停止进程。...
2022-07-30 23:04:25
2158
1
原创 Pycharm专业版远程debug报错
Pycharm远程执行代码Debug时，遇到了报错：报这个错误主要是，远程服务器debug遇到调试库不存在问题描述：远程服务器debug遇到调试库不存在解决方案：pip install pydevd-pycharm库，再链接到.pycharm_helpers/pydev目录下...
2022-06-20 22:42:34
854
1
原创 【ubuntu常规使用】修改分辨率
很多时候ubuntu都是进行远程连接的，而系统很多时候内置的分辨率选项都不是自己想要的。本文介绍一种设置方法，以供参考。1、crtl+alt+t打开终端，输入cvt 1920 10802、在终端中复制 Modeline后面的信息，我设置的是1920*1080，显示如下"1920x1080_60.00" 173.00 1920 2048 2248 2576 1080 1083 1088 1120 -hsync +vsync3、依次键入以下命令sudo xrandr ...
2020-10-09 17:45:18
5300
原创 小白也能会：windows10 安装Anaconda3+cuda10.1（rtx960）+pytorch1.6.0过程及遇到问题
〇、碎碎念没有linux真机，虚拟机不支持linux挂载物理机显卡，无法跑pytorch的显卡加速，所以费尽力气把pycharm搬回到windows10，在一定程度上能提高点效率，真正跑大型程序pc机肯定还是不行，而且要首推ubuntu作为开发环境。这次机遇windows10配置基本是从0开始的，综合了很多网上的帖子，这算是一个总结贴，记录一下过程，分享一下经验。一、Anaconda3安装这一步基本没有什么特殊的，毕竟也没有什么版本依赖，直接安装就好了。Anaconda的关键问题在.
2020-09-20 21:11:12
1577
1
转载 残差网络（Residual Networks, ResNets）
1. 什么是残差（residual）？ “残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。”“如果回归模型正确的话， 我们可以将残差看作误差的观测值。” 更准确地，假设我们想要找一个xx，使得f(x)=bf(x)=b，给定一个xx的估计值x0x0，残差（residual）就是b−f(x0)b−f(x0)，同时，误差就是x−x0x−x0。 即使xx不知道，我们仍然可以计算残差，只是不能计算误差罢了。2. 什么是残差网络（Residual Networks，Re...
2020-08-06 15:33:34
1133
转载 完全图解RNN、RNN变体、Seq2Seq、Attention机制
本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。一、从单层网络谈起在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：输入是x，经过变换Wx b和激活函数f得到输出y。相信大家对这个已经非常熟悉了。二、经典的RNN结构（N vs N）在实际应用中，我们还会遇到很多序列形的数据：如：自然语言处理问题。x1可以看做是第一个单词，...
2020-07-29 16:00:49
282
1
转载 linux中ldconfig的使用介绍
ldconfig是一个动态链接库管理命令，其目的为了让动态链接库为系统所共享。ldconfig的主要用途：默认搜寻/lilb和/usr/lib，以及配置文件/etc/ld.so.conf内所列的目录下的库文件。搜索出可共享的动态链接库，库文件的格式为：lib***.so.**，进而创建出动态装入程序(ld.so)所需的连接和缓存文件。缓存文件默认为/etc/ld.so.cache，该文件保存已排好序的动态链接库名字列表。ldconfig通常在系统启动时运行，而当用户安装了一个新的动态链接
2020-06-11 11:23:29
379
原创 ubuntu下安装Intel Threading Building Blocks（TBB）教程
Intel® Threading Building Blocks官网下载后解压，假设解压目录为tbb1、跳转到tbb目录下，执行make命令。cd tbbmake2、添加tbb变量cd buildchmod +x*.shsh generate_tbbvars.shsh tbbvars.sh3、配置头文件及库文件cd linux_intel64_gcc_你的版本_releasecp *.so /usr/lib64cp *.so.2 /usr/lib64
2020-06-09 17:27:08
3527
原创 【让电脑更好用】删除 此电脑和资源管理器导航栏 中“WPS网盘” “百度网盘”盘符
1、win+R，对话框输入regedit进入注册表编辑器2、在地址栏输入HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\MyComputer\NameSpace3、在该文件夹下点击某个子文件夹，右边会显示是什么软件的盘符，按需删除导航栏的文件夹就行了。...
2020-05-13 23:20:00
3699
1
原创 【让电脑更好用】删除资源管理器导航栏“快速访问” “Creative Cloud Files”
一、删除Creative Cloud Files文件夹1、打开注册表管理器2、获得注册表修改权限3、找到HKEY_CLASSES_ROOT\CLSID中的某个位置。4、可以使用find命令（control+f）查找“Creative Cloud Files”回车。5、将System.IsPinnedToNameSpaceTree值的1修改为0。6、注销重启，就消失了。二、删除快速访问1、和第一问一样，打开注册表管理器，在最上面的地址栏输入2、HKEY_CLASSES.
2020-05-13 23:12:36
2405
原创 ubuntu下执行 pyspider all 各种报错的解决方案【汇总】
如果报错了，记得先执行netstat -ap | grep 25555查找运行中的phantomjs所占的端口并kiil掉，否则下次无法执行命令。在运行pyspider all后报错搜索了以后，找到解决方案。ValueError: Invalid configuration: - Deprecated option 'domaincontroller': use 'http_authenticator原因是因为WsgiDAV发布了版本 pre-release 3.x..
2020-05-13 18:14:55
449
转载 Ubuntu/Debian下 apt-get command not found 命令无法找到的解决方法
apt 是能够管理deb软件，其用法在此不再赘述，Google百度一大堆。而其本身也是一个软件，如果提示找不到命令 command not found1.可能是打错字了，这个。。。2.可能系统不是Debian家族的，如果是红帽家的请适用yum，不很了解。3.可能是环境变量错了，正常情况下，或者说是默认情况下，apt及其附属命令如apt-get, apt-cache等命令位于/usr...
2019-09-10 17:15:19
7631
原创 Ubuntu安装软件提示依赖关系问题解决方案
在安装DREAM系统时，三个节点只有主节点可以直接编译c程序，两个从节点都无法直接编译。问题是两个从节点都是主节点的复制版本，神了个奇。关键是安装gcc或者g++的时候还提示依赖问题不让安装。搜索了一下，有一种看似可以解决的方案，具体能不能行靠自行测试。ubuntu的软件安装一般用apt（apt-get），但是还有一个aptitude的软件可以解决包依赖的问题aptitude与...
2019-09-09 17:28:21
9005
4
转载 知识图谱（一）：概念与构建
一、引言随着互联网的发展，网络数据内容呈现爆炸式增长的态势。由于互联网内容的大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。知识图谱（Knowledge Graph) 以其强大的语义处理能力和开放组织能力，为互联网时代的知识化组织和智能应用奠定了基础。最近，大规模知识图谱库的研究和应用在学术界和工业界引起了足够的注意力[1-5]。一个知识图谱旨在描述现实世界中存在的实...
2018-10-20 21:42:05
19788
6
原创 【总结】WatDiv数据集生成教程
题外话：其实这个很简单，只是为了记录一下，以备不时之需。有需要的自取。一、WatDiv简介WatDiv是一个语义数据的benchmark，人造数据集，由滑铁卢大学的DATA SYSTEM GROUP发布。同样的人工数据集，还有LUMB等。官方地址：http://dsg.uwaterloo.ca/watdiv/ 可以根据输入内容生成查询数据集，及对应的查询。查询分为4种类型，Li...
2018-09-14 11:38:08
1703
2
原创 通过JENA API 进行RDF数据格式间的转换
<.rdf> <.nt> <.ttl> <.owl>Jena的API有很多功能。本篇文章只对RDF格式的转换进行总结。首先，RDF存在的格式一般是.rdf .ttl .owl .nt，不同的文件格式存储RDF的格式不同。最简单的也是最占用空间的是.nt，没有prefix，而是直接存储所有的statement。其次，jena的jav...
2018-08-30 22:33:43
2203
原创 知识图谱（RDF）大型数据集 网络下载资源整合
不定期更新 一、DBPedia简介：DBpedia 是一个很特殊的语义网应用范例，它从维基百科(Wikipedia)的词条里撷取出结构化的资料，以强化维基百科的搜寻功能，并将其他资料集连结至维基百科。透过这样的语意化技术的介入，让维基百科的庞杂资讯有了许多创新而有趣的应用，例如手机版本、地图整合、多面向搜寻、关系查询、文件分类与标注等等。DBpedia 同时也是世界上最大的多领域知...
2018-08-29 11:31:10
11701
4
转载 Hbase多列范围查找（效率）
Hbase索引表的结构Hbase Rowkey 设计Hbase FilterHbase二级索引 Hbase索引表的结构 在HBase中，表格的Rowkey按照字典排序，Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引，成为了其成功的最大的砝码 每一个索引建立一个表，然后依靠表的row key来实现范围检索...
2018-08-26 11:08:14
6237
转载 hadoop中的半连接
4.1.3 半连接（Semi-join）假设一个场景，需要连接两个很大的数据集，例如，用户日志和OLTP的用户数据。任何一个数据集都不是足够小到可以缓存在map作业的内存中。这样看来，似乎就不能使用reduce端的连接了。尽管不是必须，可以思考以下问题：如果在数据集的连接操作中，一个数据集中有的记录由于因为无法连接到另一个数据集的记录，将会被移除。这样还需要将整个数据集放到内存中吗？在这个例子...
2018-08-14 17:10:11
360
转载 Ubuntu 安装 JDK 7 / JDK8 的两种方式
ubuntu 安装jdk 的两种方式:1:通过ppa(源) 方式安装.2:通过官网下载安装包安装.这里推荐第1种,因为可以通过 apt-get upgrade 方式方便获得jdk的升级使用ppa/源方式安装1.添加ppasudo add-apt-repository ppa:webupd8team/javasudo apt-get update2.安装oracle-java-installer...
2018-03-01 21:01:31
144
原创 HBase配置参数详细（不配置就是默认的参数）
hbase.rootdir这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的 '/hbase'目录，namenode运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况下Hba
2018-01-15 15:24:34
4471
原创 hadoop-2.7.3搭建过程中遇到的问题及解决方案
20190507更新问题：将hadoop-eclipse-plugin-2.X.X.jar拷贝到eclipse/plugins，重启eclipse后，在windows-preference下找不到Hadoop MapReduce选项解决方案：将eclipse/configuration下的org.eclipse.update文件夹删除，该文件夹记录eclipse插件信息，默认设置中并不是每...
2018-01-03 22:24:13
1618
原创 单机版Hadoop-2.7.3+Hbase-1.3.1，Windows10-eclipse Java Oxygen版本配置及遇到问题总结
一、单机版Hadoop-2.7.3+Hbase-1.3.1运行状态1、linux端进程2、访问节点：16010说明节点一切正常。二、windows10端eclipse配置
2017-12-27 11:33:14
577
原创 rdf3x-0.3.7使用入门
最近在做rdf的数据存储与推理，rdf3x是一个比较火的方案。在github上早就放出了源代码，基于C++开发的，而且是给了Makefile文件的方式，但是如果不熟悉C++开发的同学可能不知道如何入手。我也是自己摸索，这篇算是一个总结，对于C++大牛来说应该是皮毛中的皮毛。写下此篇的目的是搜索了很多，没有对应的解决方案。进入正题。一、资源下载1、rdf3x https:
2017-06-30 10:45:51
2481
4
原创 Hadoop、Zookeeper、Hbase集群安装配置过程及常见问题（一）准备工作
引言最近由于科研的需要，从零开始搭建hadoop集群，包括单独的zookeeper以及hbase。对于linux、hadoop等相关的基础知识掌握比较少，所以这一系列的分享适用于各种小白，想体验hadoop集群的。同时，提出一些在搭建集群的过程中遇到的问题+解决方法。主要是针对真正的集群搭建过程，也就是Distributed。本篇主要介绍前期工作及常见问题，也算是对我最近几天的
2017-04-07 21:47:56
811
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人