- 博客(137)
- 资源 (11)
- 收藏
- 关注
转载 Spark On Yarn
总之,Spark On Yarn就是让Spark运行在Yarn容器内部,资源管理交给Yarn的ResourceManager and NodeManager.Spark On Yarn有两种运行模式,分别为Cluster and Client,区别在于Driver运行的位置。StandAlone中的Master角色由YARN的ResourceManager担任。Cluster通讯成本低,因为Driver在YARN容器内部,不需要跨集群。一句话:Spark程序运行在Yarn容器内部。
2022-12-24 18:14:02
407
1
原创 func start‘func‘ 不是内部或外部命令,也不是可运行的程序
在启动项目(npm start)报了这个错, 我的解决方法:安装azure-functions-core-tools 如果网络不好的话可能需要等一会。重新启动就好了。
2022-12-03 16:55:18
423
原创 ASP.Net Core 6.0--ExceptionFilter和ActionFilter代码片段
Asp.Net Core中Filter大概有五种类型,分别为:authorization filter, resource filter, action filter, exception filter and result filter.并且所有的filter一般都有同步版本和异步版本:IActionFilter, IAsyncActionFilter。
2022-11-26 16:13:04
658
原创 Azure cosmosdb 创建删除database,container和增删改查操作
本文代码摘自cosmosdb官网,然后仿照着自己添加了一个删除container的函数,记录在此以便查阅。
2022-09-25 20:03:30
672
原创 Caught FileNotFoundError in DataLoader worker process 0.
在使用多个线程加载数据到模型时,报了一个加载错误:Caught FileNotFoundError in DataLoader worker process 0.但是并不知道错误在哪里。因此正确的做法是先排查哪里出现了错误。既然多线程不报具体错误的位置,那就不使用多线程将num_workers设置为0: data_loader = DataLoader(dataset=data_set, batch_size=128,
2022-04-14 20:25:30
11203
5
原创 .gitignore不生效, .gitignore常见匹配示例
在项目中有的文件不想保存到版本库,因此需要创建一个.gitignore文件,然后里面填上要忽略文件的名字但是在手动添加.gitignore并添加要忽略的文件后,并没有生效,可能是这个文件已经纳入版本管理中,因此需要先把本地的缓存删除,然后再提交就生效了:git rm -r --cached .git add .git commit -m 'update .gitignore'...
2022-01-19 14:44:24
337
原创 NLTK中文分句 自定义词典 Mr. 不分词
因为我这里已经下载过NLTK了,所以就不提供安装教程了,搜一搜都能找到。这里就直接演示对英文句子切分:from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktParametersdef cut_sentences_en(content): punkt_param = PunktParameters() abbreviation = ['i.e.', 'dr', 'vs', 'mr', 'mrs', 'prof'
2021-12-09 16:58:51
1112
原创 linux conda 复制虚拟环境
自己配的环境老是跑不起来,所以想着把别人能跑的环境copy过来。做法如下:如果需要在具有 相同操作系统 的计算机之间复制环境,则可以生成 spec list。生成spec list 文件:conda list --explicit > spec-list.txt重现环境:conda create --name python-course --file spec-list.txt来自:吕星林师兄...
2021-10-29 16:09:32
3642
原创 Linux非root用户安装及配置nginx
安装nginx一共最多需要下载三个文件,一个是nginx (nginx官网)是必须的,另外可能需要两个依赖包:pcre(pcre官网)和zlib (zlib官网)流程如下:下载3个压缩包并解压 安装编译这三个包(核心步骤) 把自己的网页放在一个文件夹里一. 把三个压缩包都下载下来nginx: (我下载1.20.1安装失败,看到附录用1.16.1可以成功)pcre: (这个我下载的是 pcre-8.43.zip) 下面就是很多截图打开pcre的官网,选择历史版本:...
2021-10-21 22:28:25
4491
原创 LATEX algorithm 手动缩进
在文件开头引入下面的包和代码:\usepackage{algorithm}\usepackage{algorithmic}\newlength\myindent\setlength\myindent{2em}\newcommand\bindent{% \begingroup \setlength{\itemindent}{\myindent} \addtolength{\algorithmicindent}{\myindent}}\newcommand\eind.
2021-08-28 18:52:54
5896
5
原创 torch.cosine_similarity, 广播,一个矩阵的每行和另一个tensor计算相似度
1. torch.cosine_similarity 对应两个向量计算相似度a = torch.randn(100,128)b = torch.randn(100,128)torch.cosine_similarity(a, b, dim=-1).shape>>> torch.Size([100])2. torch.cosine_similarity 对任意两个向量之间两两计算相似度也就是希望得到一个 [N, N]的一个矩阵方法一:循环def get_att
2021-08-20 09:24:17
4604
原创 linux 按字符串分割文件 sed awk
例如文件的内容是这样的:Please rise , then , for this minute ' s silence . ||| Please rise , then , for this minute , silence . ||| 0 1 2 3 4 5 6 7 -1 10 11( The House rose and observed a minute ' s silence ) ||| ( he listened and observed a minute ' s silence ) |
2021-07-21 09:37:04
2047
原创 mosesdecoder/tokenizer.perl 使用说明
tokenizer.perl是统计机器翻译系统moses的一个小工具,可以用来对英文德文等进行分词。使用方法:$ perl tokenizer.perl -l en < [待分词文件] > [分词结果]其中: -l en 表示的输入的文件是英文例如:$ perl tokenizer.perl -l en < train.en > train.tok.en参数说明:if ($HELP){ print "Usage ./tokenizer....
2021-07-19 16:13:13
1748
原创 多分类 交叉熵 纯python实现
之前只知道二分类交叉熵的公式,或者调包实现过,从来没用纯python实现过。正好有个机会需要写这么一个函数,特此记录一下。问题:给定一个logits输出x, 和真实的标签y要求计算其交叉熵首先要计算x的概率,用python实现softmax 然后找到标签对应的概率话不多说直接上代码:import mathdef softmax(x): m, n = len(x), len(x[0]) for i in range(m): cur_m = max(x[i])
2021-07-01 22:27:41
2258
原创 git 常用命令 工作流程
记录常用的git命令,不定期更新~命令 用法 git pull origin main 从远程分支拉最新的代码到本地的main分支上 git checkout -b branch1 新建branch1分支,并切换到这个分支 git add . 将当前修改提交到暂存区 git commit -m "description" 将暂存区的修改真正保存 git status 查看当前分支状态(比如是否当前分支有改动) git branch ..
2021-04-25 17:04:09
438
原创 Unable to build Cython components. Please make sure Cython is installed if the torch.hub
在我使用torch.hub的时候报了如下一个错误:解决方法:参考:https://github.com/h5py/h5py/issues/535先安装 h5py 再安装 Cythonpip install h5pypip install Cython
2021-04-01 16:37:57
406
原创 pytorch 快速计算两个tensor的欧式距离
给定两个tensor: A 和 B。A的维度为 [m,h], B的维度为 [n,h]。要求每两行之间计算他们的欧氏距离,返回一个维度为[m,n]的tensor。要求不能使用循环,也不能扩充复制一个tensor。解:将欧式距离的公式展开,根号下面是。a是tensor A中某一行的平方和,b是tensor B中某一行的平方和,ab是两个向量的内积。所以代码为:def EuclideanDistances(a,b): sq_a = a**2 sum_sq_a = torch.sum.
2021-03-19 15:39:33
11785
原创 linux .bashrc文件配置
有时候配置linux虚拟环境时总是不小心改动已经配置好的.bashrc文件。为了防止系统自动变动之后能恢复原来的版本,特此记录一下当前能够正常使用的.bashrc文件内容# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi# Uncomment the following line if you don't like systemctl's auto-paging
2021-02-04 15:16:44
1436
原创 launch.json vscode 调试带参数程序,指定GPU, 指定python解释器,封装包里面打断点
每次配置的时候都忘记launch.json里面怎么配置,特别是指定虚拟环境的python解释器时,常常会忘记python解释器的路径。这个launch.json可以点击菜单栏:运行->添加配置 生成记录个例子,做笔记查阅:{ "version": "0.2.0", "configurations": [ { "python": "/home/axjia/anaconda35/envs/py37/bin/python3", .
2020-12-30 16:02:43
16777
9
转载 Git常用命令:初始化,提交,撤销修改
转自:https://blog.csdn.net/weixin_39564277/article/details/91349345记录一下常用命令:2.$ git config --global user.name “Your Name” 配置git用户信息$ git config --global user.email “email@example.com” 配置git用户信息3.$ git init 初始化仓库4.$ git add readme.txt 添加到暂存区5.$ git c
2020-12-06 16:59:38
296
原创 $‘\r‘: command not found 或者 vim去掉^M字符 (四种方法 )
这两种现象其实对应同一种问题:在windows下编辑的文件放到linux上执行时会出现这个问题。例如,有一个test.sh文件,通过vim直接打开时看到的是这样的:发现并没有什么问题。其实应该通过vim -b test.sh打开,这样看到的就是本来面目了。vim -b test.sh所以方法一、把^M删掉就可以了。按i进入编辑模式,删除即可。 如果^M太多,可以使用查找替换命令,vim打开文件然后:%s/^M//g注意这个^M不是看到...
2020-12-05 17:48:12
1781
1
原创 pytorch 生成均值为0方差为0.01的tensor
一向记不住函数的用法,就用笔记来记录一下吧:生成一个2*3的tensor:torch.normal(mean=torch.full((2,3),0.0),std=torch.full((2,3),0.01))
2020-12-03 16:15:24
2626
原创 vscode连接服务器不用每次都输入密码
1、首先在自己的本地生成公钥和密钥git bash 输入以下命令:ssh-keygen生成的公钥和密钥默认放在.ssh文件夹,我的是2、修改本地的配置文件,添加下面这行属性到配置文件里IdentityFile "C:\Users\liuzhidong\.ssh\id_rsa"3、 把本地生成的公钥里面的内容追加到服务器上的~/.ssh/authorized_keys结束!总的来说就是生成一对密钥,一个放在本地的配置文件,一个放在服务器上。...
2020-12-01 21:36:39
9610
9
原创 linux 找出出现在A文件中,但是不在B文件中的行
假设有两个文件A和B,需要找到A中出现过的且B中没出现的行,并保存到C文件中。cat A B B | sort | uniq -u > C主要涉及uniq命令的使用uniq --h
2020-11-24 14:21:50
4189
转载 vim 命令插入、删除、查询、替换操作。
转自:https://www.cnblogs.com/woshimrf/p/vim.html这里记录一下,做笔记查阅。使用vim编辑文件:vim filename进入之后的界面叫做命令模式界面。可以修改文件编辑的时候叫做插入模式。(插入模式)编辑模式以下按键进入编辑插入模式a //在当前光标位置的右边添加文本i //在当前光标位置的左边添加文本A //在当前行的末尾位置添加文本I //在当前行的开始处添加文本(非空字符的行首)..
2020-11-12 09:46:44
4687
原创 linux去除文件中的标点符号,大小写转换
去除标点:cat train.en | sed 's/[[:punct:]]//g' > train.clean.en大写转小写:cat train.en | tr A-Z a-z > train.lower.en同样可以小写转大写。两个空格合并为一个空格:cat train.en | sed 's/ / /g' > train.clean.en这三个操作可以放在一起:cat train.en | sed 's/[[:punct:]]...
2020-11-10 14:30:49
1909
原创 RuntimeError: Address already in use
Pytorch用多张GPU训练时,会报地址已被占用的错误。其实是端口号冲突了。因此解决方法要么kill原来的进程,要么修改端口号。在代码里重新配置torch.distributed.init_process_group() dist_init_method = 'tcp://{master_ip}:{master_port}'.format(master_ip='127.0.0.1', master_port='10000') dist_world_..
2020-10-26 09:30:32
7736
原创 RuntimeError: cuda runtime error (35) : CUDA driver version is insufficient
报错原因:服务器CUDA版本和自己装pytorch 的cuda版本不一致。所以修改自己pytorch的cuda版本。查看服务器的cuda版本:nvcc -V查看自己装pytorch的cuda版本:pythonimport torchtorch.version.cuda
2020-10-22 11:05:45
2800
原创 pycharm: Unable to display frame vriables
用pycharm连接linux服务器上程序时,可以正常运行。但是不能调试,调试的时候特别卡,而且变量窗口的变量也加载不出来尝试过扩大pycharm的内存,不好使。pycharm官网给的解决方法可以有效解决:https://blog.jetbrains.com/pycharm/2012/08/gevent-debug-support/在此记录一下:file->setting->python debugger然后把Gevent compatible前面的勾打上就可以了。
2020-10-19 11:20:11
1944
3
原创 pip 安装包成功 但是import 失败
我遇到的问题是没有把包安装在虚拟环境里,以jieba包为例在虚拟环境下输入python,然后可以导入这个包。我们以为包装好了,其实这个包是安装在了基本环境里。使用conda list查看当前环境装的包的时候,其实并没有jieba这个包。conda list忘记截图了,,,所以需要使用虚拟环境的pip 安装jieba。在确认把包装在虚拟环境之后,切换到python环境也不能靠单纯敲python命令。而是要用虚拟环境的python,和前面的那个pip一样。举个例子,现在有.
2020-09-22 15:55:36
14765
1
转载 【pytorch】/libstdc++.so.6: version `CXXABI_1.3.11‘ not found
转载:https://blog.csdn.net/JianJuly/article/details/99678608以下是我搬运的内容,防止原博客删掉了。使用python导入torchvision包时,计算机报错:/libstdc++.so.6: version CXXABI_1.3.11 not found可能错误原因:libstdc++.so.6版本太低解决方法:使用更高版本的libstdc++.so具体步骤:1. 在电脑中查找更高版本libstdc++.so在自己用户目录下.
2020-09-17 17:17:45
1143
原创 libstdc++.so.6: version `GLIBCXX_3.4.21‘ not found
参考:https://github.com/BVLC/caffe/issues/4953gcc版本问题,安装libgcc就可以了conda install libgcc
2020-09-17 17:09:52
252
原创 pip在虚拟环境中安装包
激活虚拟环境后,用conda list查看安装的包存在pip。但是用pip 安装的包还是装到了全局环境中,而且这个包只能用pip,不能用conda安装。因此怎么才能把包装到虚拟环境?用虚拟环境中的pip就可以了,因为在配置.bashrc的时候,设置的是使用全局环境的pip所以这里我们用虚拟环境的pip1.找到虚拟环境的pip,我的是/home/dlge/anaconda3/envs/pytorch1.4/bin/pip2.然后就是正常安装包/home/dlge/anaco
2020-09-17 16:52:14
5884
1
原创 AttributeError: module ‘torch.utils.data‘ has no attribute ‘IterableDataset‘ & OSError: libtorch.so
新装pytorch-lighting破坏了之前的pytorch1.1版本。然后重新装回pytorch1.1,在运行程序时一直报下面这个错误:AttributeError: module 'torch.utils.data' has no attribute 'IterableDataset'进去torch.utils.data 下面确实没有这个 IterableDataset。尝试很多修复的方法包括修改data下__init__.py文件,都没有用。我的解决方法:最后我把别人相同版本.
2020-09-17 16:26:49
2691
6
原创 用于文本分类的数据增强方法
这是一篇发表在AAAI2020上的一篇文章,附上链接:https://aaai.org/ojs/index.php/AAAI/article/view/6233方法名为LAMBADA(Language Model Based Data Augmentation),核心思路为:下面看一下每个步骤具体实施的过程:选用一个分类算法在训练集上训练一个分类器。分类算法文中用了BERT,SVM和LSTM。记住这个分类器,第四步的时候要用。 这一步得到一个用于生成句子的模型:把训练集的数据组织成ySEP
2020-09-09 21:57:29
1571
原创 pytorch 更新部分参数(冻结参数)注意事项
实验的pytorch版本1.2.0在训练过程中可能需要固定一部分模型的参数,只更新另一部分参数。有两种思路实现这个目标,一个是设置不要更新参数的网络层为false,另一个就是在定义优化器时只传入要更新的参数。当然最优的做法是,优化器中只传入requires_grad=True的参数,这样占用的内存会更小一点,效率也会更高。一、设置参数为falseimport torchimport torch.nn as nnimport torch.optim as optim# 定义一个简单的网络
2020-09-09 17:24:59
24333
11
python多进程使用实例|multi_processing.py
2020-11-18
exp-amr-parsing-2.0.sh|exp-amr-parsing-2.0.sh
2020-09-08
python实现邮件收发
2020-07-16
复述添加token.txt
2019-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人