自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

silent56_th的博客

大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。

  • 博客(271)
  • 论坛 (1)
  • 收藏
  • 关注

原创 tensorflow+multiprocessing实现并行调参

笔者需要得到100组不同的超参数 训练后的测试准确率,其中不同的超参数对应于不同的网络结构,故Graph和Session均不能共享。即笔者需要执行100次 构建Graph-新建Session-Train&Test-Close&Quit 的操作。 而程序本身占用资源不多,于是便想要实现并行,加速调参。需求:输入100组超参数,返回相应超参数对应的测试准确率每组超参数...

2018-08-04 23:19:13 6431 14

原创 python获取GPU相关信息

笔者想要根据空闲显存信息,动态分配tensorflow中session运行的GPU。搜索下来没有发现成熟的方案,备选方案记录如下: 方案一: 翻译自:How to get current available GPUs in tensorflow? 使用tensorflow的后端函数device_lib.list_local_devices()。 缺点1:会尝试并占用所有可用GPU显存,需要...

2018-07-31 20:28:17 6158

原创 使用GPU训练大神经网络之 显存控制策略与提升

本文是“[PPoPP18] SuperNeurons:Dynamic GPU Memory Management for Training Deep Neural Networks”的论文阅读笔记,论文、talk视频PPT等详见作者主页:https://linnanwang.github.io/ 参考资料: https://linnanwang.github.io/ How to Optim...

2018-05-21 21:26:37 5444

原创 CS229课程笔记12:EM算法及混合高斯的应用

Ng此部分先介绍了EM算法的步骤,然后证明了其一致递增性(收敛性),最后给出了应用于混合高斯的例子。机器学习的一种任务是求取某个显示变量xx的概率分布P(x;θ)P(x;\theta),但是鉴于P(x)P(x)不属于常见的易于表示的(例如指数型的变形)概率分布,无法通过简易的最大log-likelihood的方式求取。一种方式就是假设存在某种隐变量zz,P(x,z;θ)P(x,z;\theta)可以

2017-12-23 16:34:46 663 1

原创 大数据算法课程笔记8a:page replacement algorithm

本节课主要是介绍page replacement algorithm的相关算法,包括offline和online。1. 问题简介这个是体系结构里面的经典问题,内存小、硬盘大,内存快、硬盘慢。所以CPU从内存中读取数据,而内存从硬盘中读取数据。那我们希望内存读取硬盘的次数尽量减少,这样可以减少程序的运行时间,而减少次数的算法主要依赖于page replacement algorithm。所谓page

2017-11-06 22:23:46 1538

原创 大数据课程笔记3:Kolmogorov Complexity

这是大数据算法的课程笔记,这节讲的是Kolmogorov Complexity的定义以及三个性质。定义先有个图灵机的定义,然后有了一个Universal Turing Machine (UTM)的定义。假设存在输入yy和输出xx,使用一种Turing Machine TT,运行程序pp,可以从yy中生成xx,定义为x=T(p,y)x = T(p,y)。定义Kolmogorov Comlexity,基

2017-09-30 15:04:59 1162

原创 keras的EarlyStopping callbacks的使用与技巧

本文是笔者使用EarlyStopping的心得,很多是笔者自己的思考,欢迎大家讨论指教。 具体EarlyStop的使用请参考官方文档和源代码。EarlyStopping是什么EarlyStopping是Callbacks的一种,callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。Callbacks中有一些设置好的接口,可以直接使用,如’acc’,’val_acc’,’los

2017-06-02 16:55:10 42885 13

原创 CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum,AdaGrad,RMSprop,Adam

CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。优化迭代算法写在前面:Karpathy推荐Adam作为默认算法,如果full batch的话,在去除所有噪声的情况下尝试L-BFGS(一种二阶优化算法,详情请自行搜索)。关于优化算法的实现请参考CS231n作业笔记2.3:优化算法Momentum, RMSPro

2017-03-02 21:47:11 7741 2

原创 CS231n作业笔记2.3:优化算法Momentum, RMSProp, Adam

CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记本部分实现的是Momentum,RMSProb, Adam三种优化算法,优化算法是用于从随机点出发,逐渐找到局部最优点的算法。关于各种优化算法的详细介绍,请参考CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum

2016-12-29 21:13:51 6090 1

原创 Ubuntu16.04+Virtualbox装Windows虚拟机分辨率调整

默认是800*600 (4:3),想要适配显示器(16:9)。两个步骤:主机系统上限调整:file–>preference–>display 改成hint+显示器分辨率虚拟机内部配合:Devices --> Insert Guest Additions CD Image…...

2019-10-19 07:23:35 280

原创 生成symbolic link时的相对路径解释

使用ln -s <src> <tar>生成软链接的时候,<src>被解释为字符串,并没有调用os获取绝对路径。这里所有的相对路径,都会在调用<tar>的时候,用<tar>的pwd解释。这其实为了多个相同项目内部的软链接提供了方便。笔者直接使用相对路径创建软链接,调用<tar>时报错:Too many levels of sy...

2019-08-14 11:38:55 307

原创 pytorch小坑:需设置CUDA_HOME环境变量,保证全局CUDA环境一致

详见: https://github.com/pytorch/pytorch/issues/22844安装和代码中的CUDA_HOME调用函数逻辑不一致,在多CUDA环境中出现bug。保险的做法是在设置PATH, LD_LIBRARY_PATH等环境变量时顺带把CUDA_HOME也设置了。windows应该是CUDA_PATH环境变量。...

2019-07-14 18:09:56 8321 6

翻译 winscp/putty配置公钥认证

某服务器禁止了密码登录,仅支持公私钥认证。这在Linux里很方便,在windows当然也是可以实现的,这里采用winscp/putty。翻译自此博客:https://www.jscape.com/blog/bid/38946/Public-Key-Authentication-using-PuTTY-and-WinSCP简单地说:用PuttyGen生成公私钥(各种选项随便挑,不加passphr...

2019-07-03 20:57:50 1049

原创 强化学习课程笔记1:强化学习简介

课程简介笔者最近在刷强化学习相关的基础课程,一番调研之后选定UCL和UCB的两门公开课,刚好代表目前RL领域最火的两个流派。关于两个流派的对比讨论,详见知乎 请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别?简单介绍一下两个课程:UCL Course on RLDeepMind当家人David Silver从头讲到尾,深入浅出,清晰明了。可能是因为是在UCL开课的...

2019-04-16 12:13:18 349

翻译 numpy陷阱之fancy indexing生成copy

numpy在用python传统的slicing做index,和其自定义的numpy.array/list做index时的表现不同,非常坑人。。。翻译自此文档:https://scipy-cookbook.readthedocs.io/items/ViewsVsCopies.html什么是fancy index:详见numpy文档 。简单的说,除了传统的slicing(即start:end:s...

2019-03-15 18:29:59 119

翻译 linux使用 不可见符号 作为命令行参数

翻译自:https://unix.stackexchange.com/questions/371797/unprintable-characters-as-input-in-command-linehttps://unix.stackexchange.com/questions/35369/how-to-define-tab-delimiter-with-cut-in-bash简单说,使...

2019-01-29 12:47:10 631

原创 MIT算法导论课程笔记5: 线性排序算法

课程网站:http://open.163.com/special/opencourse/algorithms.html常见的merge sort, quick sort, insert sort, heap sort都是基于比较的排序算法,即通过比较元素的相对大小,确定排序顺序。这节课首先通过decision tree理论上证明了基于比较的排序算法的平均时间复杂度不会好于O(nlog⁡n)O(n...

2019-01-22 23:03:45 106

原创 Windows的linux子系统无法使用NFS

需求:不能装双系统,虚拟机本地文件共享又不方便,所以想要用win10商店的linux子系统(ubuntu18.04)配合NFS实现本地的linux环境编程测试,再同步到服务器上。结论:基于NFS的共享同步文件系统,不被win10的linux子系统支持,可能可以考虑SCP相关的方法,但公司内同样不能用ssh,所以只能转战虚拟机了。此文记录了windows上配置NFS时所遇问题,包括windo...

2019-01-18 16:47:50 3305

转载 python编程环境配置http代理

需求:公司网络要走代理服务器,所以需要win10系统中配置git, pip, 以及ubuntu子系统走http代理。各个工具都有局部的或者全局的配置文件,配置起来很方便,记录于此以防以往。其中win10配置的是用户级的,ubuntu子系统直接做了全局配置。git: git设置HTTP代理git config --global http.proxy http://proxyUsername...

2019-01-18 13:24:48 913

翻译 numpy.ravel无法使shape变成1D

我的错误修正很简单,将matrix变成array就可以了。不过了解了numpy中存在matrix这个ndarray的subclass,强制2D shape。根据What are the differences between numpy arrays and matrices? Which one should I use?中的说法,matrix效率低,还不灵活,只有方便写纯matrix计算代码...

2019-01-08 15:17:21 179

翻译 无root权限安装pip

翻译自:https://askubuntu.com/questions/363300/how-to-install-pip-python-to-user-without-root-access某服务器上无root权限,而系统无内置python-pip。搜索发现可以使用easy_install安装,命令如下:easy_install --user pip可能需要添加PATH(笔者没有用到)...

2019-01-01 14:55:58 699

翻译 控制LaTeX公式中上下标格式

翻译自:https://www.overleaf.com/learn/latex/Display_style_in_math_modeLaTeX中对于文本环境中公式(e.g. $\max_\Omega$)和公式环境中公式(e.g. $$\max_\Omega$$)的展示方法不同。若想在切换展示方法,可以使用\textstyle和\scriptstyle两个命令。...

2018-12-28 21:19:46 4501

翻译 /usr/bin/ld不调用LD_LIBRARY_PATH内动态库

要编译个python包,内含c++拓展,需要一个动态库。因为没有服务器的root权限,自行下载动态库编译,得到.so文件及路径。按照常规的将路径加入LD_LIBRARY_PATH后,仍然无法找到指定动态库。使用ld -&lt;lib&gt; --verbose测试发现,/usr/bin/ld就不会搜索LD_LIBRARY_PATH指定路径。因为我对python包 以及 服务器整体环境并不...

2018-12-24 23:01:16 256

翻译 python复制virtual environment

翻译自: https://stackoverflow.com/questions/7438681/how-to-duplicate-virtualenv假设想要复制环境A到环境B首先进入环境A,生成requirement文件pip freeze &gt; requirements.txt切换至环境B,安装即可pip install -r requirements.txt...

2018-12-17 10:35:27 234

原创 latex报错undefined control sequence

原因是原编译环境为中文windows,切换windows环境后,路径规范等均不相同,需要从头重新编译。解决方法是:删除所有编译中间文件,如.auv, .nav,仅保留源文件,重新编译即可。...

2018-12-07 09:48:23 12031

翻译 latex 使得+=不分开

翻译自 https://tex.stackexchange.com/questions/121940/plus-equal-are-separated简单解决方案:将$+=$替换为$\mathrel{+}=。也可以参照链接,定义新命令多次使用。

2018-11-18 23:45:58 872

原创 tensorflow实现GNN的max aggregator

笔者想要实现GNN中的max aggregator,要求如下:输入:1. 邻接矩阵A∈{0,1}N×NA\in\{0,1\}^{N\times N}A∈{0,1}N×N,2. 各点特征矩阵X∈RN×CX\in R^{N\times C}X∈RN×C输出:每个点的邻居(点iii和点jjj是邻居⇔A[i,j]=1\Leftrightarrow A[i,j]=1⇔A[i,j]=1)特征值的最大值M∈...

2018-11-10 20:23:34 1621

转载 tensorboard查看tensor占用内存及运行时间

总结自:https://www.tensorflow.org/guide/graph_viz#runtime_statisticshttps://blog.csdn.net/fu6543210/article/details/80235720设置sess.run中option为FULL_TRACE,然后将输出的metadata写到writer里即可,样例代码如下:run_options = ...

2018-11-10 19:48:51 3420

翻译 ipython动态调试模块

翻译自:https://ipython.org/ipython-doc/3/config/extensions/autoreload.html使用autoreload魔法命令,可以使得每次调用模块内命令时,重新load相应模块。即可以在不退出ipython环境的情况下,同时修改模块文件,进行测试。使用方法为:%load_ext autoreload%autoreload 2import ...

2018-11-10 15:53:10 388

翻译 git递归移动submodule

总结自:How do I move an existing Git submodule within a Git repository? ,Git: moving submodules recursively (nested submodules) , git官网直接使用shell的mv命令不改变git submodule内记录的子项目位置,直接报错,故需使用git-mv命令。当前Ubun...

2018-11-09 16:18:14 439

翻译 单行命令查看项目是否up-to-date

翻译自:https://mikefrobbins.com/2016/02/18/git-status-doesnt-know-if-your-local-repository-is-out-of-date/笔者发现git status命令并不能查看本地项目是否和远程一样(up-to-date),若本地和远程异步修改,版本错乱,merge起来很麻烦。简单的解决方式是每次修改项目之前都pull一下,...

2018-11-08 16:55:54 382

翻译 修复git submodule引起的detached head

总结自:Why is my GIT Submodule HEAD detached from master?Git submodules best practices上文记录了在子项目内修复detached head的方法,使用中发现是因为submodule使用不当引起的,当clone项目到其他位置时子项目内仍然是detached head。若对每个子项目都是用上文方法修复太过于麻烦,所...

2018-11-07 16:28:40 2258

翻译 修复git detached head

翻译自 https://stackoverflow.com/questions/10228760/fix-a-git-detached-head简单的说,新建一个branch保存临时修改:git branch tmp切换到目标branch上,新手一般是master:git checkout master将临时修改merge到当前branch:git merge tmp...

2018-11-06 16:26:57 180

翻译 LATEX幻灯片中Reference过长超页

笔者使用LATEX+beamer简易制作幻灯片,需要Reference页,代码如下:\begin{frame}{Reference}\bibliographystyle{apalike}\bibliography{sample.bib} % The file containing the bibliography\end{frame}但是当引用过多时会超页,参考How can I s...

2018-10-21 23:19:15 1855 3

转载 pip install 遇到错误 OSError: [Errno 28] No space left on device

参考 http://aka863.blogspot.com/2017/06/pip-install.html 因为tmp目录空间不够,使用-b指定build目录,解决问题。

2018-09-13 14:34:41 4530

转载 Python遇到unboundlocalerror local variable 'os' referenced before assignment

参照 说下那神奇的 UnboundLocalError: local variable x referenced before assignment, 发现是因为正文代码内部调用了import os,所以虽然全局同样import os,但是在其同域内赋值前会遇到错误unboundlocalerror local variable 'os' referenced before assign...

2018-09-07 16:13:35 1466

原创 python用邻接矩阵作图,输出存储在numpy.ndarray中的图像

简单地说,使用networkx作图,然后从matplotilb的canvas里面提取ndarray输出。从邻接矩阵生成networkx中graph类,使用from_numpy_matrix函数,详见:https://networkx.github.io/documentation/networkx-1.7/reference/generated/networkx.convert.from_nu...

2018-09-07 15:39:45 4124

翻译 ubuntu卸载foxit reader

翻译自:https://askubuntu.com/questions/816678/how-can-i-uninstall-foxit-reader-from-16-04使用安装目录里面的maintenancetool 通常的安装目录为home/(user)/opt/foxitsoftware/foxitreader,也可以通过locate foxit查找目录 可能需要root权限,使用...

2018-08-12 22:13:34 2384 1

原创 python动态import包

笔者需要根据命令行参数引入不同的包,原先一直使用exec函数,例如exec("import %s as model"%sys.argv[1])但是如 Why doesn’t exec work in a function with a subfunction? 所述,exec不易于子方程内使用。参照 Dynamic module import in Python,使用__import_...

2018-08-04 21:47:59 382

原创 python pip覆盖全局包配置重安装

笔者在共享服务器上无root权限,而管理员安装的python包之间版本不匹配(经典的numpy binary incompatibility runtime warning),所以需要本地重安装覆盖原版本。常用的”compile from source+change PYTHONPATH”的方法太麻烦了,阅读文档发现个用pip的简单方法:pip install --user -I &lt;pa...

2018-08-03 16:01:43 4735

空空如也

silent56_th的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除