大数据与人工智能
W_Honor
技术公众号:HonorWang
展开
-
NNI自动调参工具bug盘点
项目场景:在本地GPU服务器上,运行NNI Annotation形式的调参程序,已得到最佳的超参数组合。问题描述:在程序单独运行成功的前提下,运行NNI调参工具成功启动,但是进入监控界面,总是报Failed: 原因分析:1、找到程序错误日志,查找出错的地方。之后,发现报错“File dose not exist...”,提示没有找到数据文件。2、检查之后,确保程序文件没有错误,不是程序本身的错误。于是,参考官方的例程发现,所有程序运行的文件处于同一个主目录之下,即config.yml文原创 2021-01-29 11:29:47 · 858 阅读 · 5 评论 -
在WIndows中开发深度学习——环境配置篇(二)
Linux中的shell命令确实好用,但在WIndows里面也有类似的终端——PowerShell,命令也是类似的,但是在使用conda的时候遇到了问题。学习环境:WIndows 10Nvidia RTX GPUPython3Miniconda3问题Q1:已经配置好环境变量,Windows10的PowerShell无法运行conda,不识别conda命令。解答A1:首先输入命令conda init,在重新打开终端。如果出现一下错误:Documents\WindowsPowerS原创 2020-10-15 21:28:48 · 196 阅读 · 0 评论 -
在Windows中开发深度学习——环境配置篇(一)
学习使用微软自动调参工具——NNI官方文档:NNI使用文档官方代码:github众所周知,对于深度学习模型手动调参是在是太费力,幸好得知微软推出了这样一个省时省力的自动化学习工具,所以就拿来学习。学习环境:WIndows 10Nvidia RTX GPUpython3问题Q1:Windows10 环境下调试示例代码正常,运行实验正常,打开Web网页所有trial显示失败。同样的程序和配置,在Linux下毫无问题。Q2:在远程Linux服务器上,运行实验Web网页无法显示。LInux系原创 2020-10-15 21:04:25 · 482 阅读 · 0 评论 -
conda-forge安装pymorphy2
Morphological analyzer (POS tagger + inflection engine) for Russian and Ukrainian languages. License is MITgithub地址pymorphy2是一个乌克兰语和俄语的分析工具。近期在实验中用到了python包——pymorphy2,但是使用一般的conda安装命令无法安装,pip同样也是不行。原因:该工具包属于第三方软件,只能通过额外命令安装。解决方法:conda install -c co.原创 2020-06-28 21:56:15 · 1431 阅读 · 1 评论 -
解决gensim模型加载错误:UnicodeDecodeError: 'utf-8' codec can't decode bytes in position。。。的方法
NLP领域最出名的python库之一就是gensim,该库包含了常见的word2vec模型,而我们在使用这些模型进行embedding的时候可会出现如下的编码问题:UnicodeDecodeError: 'utf-8' codec can't decode bytes in position这个错误在提示加载模型时出现了编码错误,即在某一个位置的字节是无法编码的,并会给出相应的的位置。这个...原创 2020-03-22 22:29:06 · 3198 阅读 · 1 评论 -
基于AMD-ROCm和tensorflow机器学习加速平台的部署方法
截至到发文时间,ROCm版本已经更新到V3.1.0。官方文档地址:https://rocm-documentation.readthedocs.io/en/latest/Current_Release_Notes/Current-Release-Notes.html新版本V3.1.0增加了AMD GPU版的SLURM,这是一个开源的大型计算结点集群的管理器和作业调度系统。同时增加了对Vega7...原创 2020-03-13 21:15:49 · 2390 阅读 · 0 评论 -
基于python和Linux环境切分大数据文本文件的基本方法
该文的实验环境:OS:Ubuntu 18.04CPU::AMD R5 1600X内存:16GB对于做大数据以及机器学习的小伙伴来说,扎实的硬件基础是做良好实验的前提。通常在获得大量数据集(一般超过GB量级)身边又没有基础设施处理时,我们只能对大文件进行分割处理。关于在python环境下分割文件的操作,我参考了这篇博主的文章:版权声明:本文为CSDN博主「IBoyMan」的原创文章...原创 2020-02-29 17:49:28 · 288 阅读 · 0 评论 -
Julia——为数据科学和人工智能而生的编程语言
互联网界的大佬已经在公开发布表示“不要重复造轮子”,但是“轮子”一直在层出不穷。Python、Go、Scala、Kotlin、Julia——这些新鲜的“轮子”一个一个被开发者创造出来,并在这编程语言的漩涡中激流勇进。Python作为当今最火的语言之一,也许已经并不陌生了,在网页开发、机器学习、数据科学中随时都能看到它的影子,而对于职位的需求也是价位相对较高的。Go语言作为谷歌自己生产的本命...原创 2019-04-20 15:59:47 · 3057 阅读 · 0 评论