- 博客(17)
- 收藏
- 关注
RSS订阅原创 linux 安装语言模型工具KenLm
1、安装相关依赖包cmake、boost和bzip2，其中后两个需要root权限2、安装kenlmwget http://kheafield.com/code/kenlm.tar.gztar -zxvf kenlm.tar.gzcd kenlmmkdir buildcd buildcmake …make注：到make这一步时报错，需要修改C++编译器。在CMakeLists.txt头部添加以下命令：SET(CMAKE_CXX_FLAGS “${CMAKE_CXX_FLAGS}
2021-10-18 14:46:15
500
原创 python之文件编码格式相关
1、查看文件的编码格式import chardetf = open('one.txt','r')data = f.read()print(chardet.detect(data))输出为：{'confidence': 数字, 'encoding': 'utf-8'}2、python2和3在处理字符串上的区别<1> python2中unicode作为一种字符串类型，可使用decode是将str型转换为unicode型type(u"a") => str型type("a".
2021-09-27 10:15:14
131
原创 linux awk & grep的使用
提取文件中某个字符串后面的数字：grep "real-time factor assuming" decode.*.log | awk 'BEGIN{tot=0.0}{tot+=$NF}END{print tot/NR}'cat decode.*.log |grep -o "Time taken.*:"
2021-09-23 15:02:08
168
原创 UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position
1、python3报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position2、解决办法：1）直接vim出错的文件 /data/nfs_rt16/jingyu/anaconda3/envs/lm_p/lib/python3.6//encodings/ascii.py 2）并将*ascii_decode改为utf_8_decode注：勉强跑起来了，但还是会报其他的错3、参考：https://vimsk
2021-09-18 17:42:08
2197
原创 Linux 中文显示乱码
1. 问题描述中文文件名显示不出来2. 解决办法1）Before：输入locale显示2）执行以下指令临时修改(当前终端生效)：export LANG="zh_CN.UTF-8"永久修改：echo "export LANG="zh_CN.UTF-8" >> /etc/proflilesource /etc/profile3）After4）文件名可以正常显示3. 参考https://www.cnblogs.com/lizm166/p/12598731.htm
2021-09-16 11:25:52
119
原创 Linux下文件内容的查找替换
vi指令打开文件：:%s/name/title/g #（等同于 :g/name/s//title/g） 替换每一行中所有 name 为 title
2021-09-15 15:43:38
294
原创 Linux nohup中的2＞&1
nohup命令关闭当前session不会中断程序，可以通过kill等命令终止。示例及说明nohup command > output.log 2>&1 &其中 2>&1是用来将标准错误2重定向到标准输出1中。1前面的&是为了让bash将1解释成标准输出而不是文件1。而最后一个&是为了让bash在后台执行。...
2021-09-15 11:42:39
55534
2
原创 parser.add_argument 中的 store_true
代码：parser.add_argument('--segment',action='store_true',help='中文以词为单位')说明：action=‘store_true’表示，只要运行时该变量有传参就将该变量设为True。
2021-09-10 15:42:10
887
原创 2021-09-10
1. 一种学习率的优化方式——Warmup刚开始训练时，模型的权重是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定（振荡），选择Warmup预热学习率的方式，可以使得开始训练的几个epochs或一些steps内学习率较小，在预热的小学习率下，模型可以慢慢趋于稳定，等模型稳定后再选择预先设置好的学习率进行训练，使得模型收敛速度变得更快，模型效果更佳。2. 梯度累加梯度累加就是每次获取1个batch的数据，计算一次梯度，梯度不清空，不断累加，累加一定次数后，根据累加的梯度更新网
2021-09-10 15:39:13
97
原创 python中os.mkdir报错 FileNotFoundError: [Errno 2] No such file or directory:
创建文件夹时：if not os.path.exists(output_dir + 'model_epoch{}'.format(epoch + 1)): os.mkdir(output_dir + 'model_epoch{}'.format(epoch + 1))报错：FileNotFoundError: [Errno 2] No such file or directory:原因分析：os.mkdir 只能生成下一级的目录文件。若要想生成多个子路径下的文件，需要
2021-09-09 14:08:59
1761
原创 Python SyntaxError: Non-ASCII character ‘\xe5‘ in file
报错：SyntaxError: Non-ASCII character ‘\xe5’ in file解决办法：在Python源文件的最开始一行加上# -*- coding:UTF-8 -*-
2021-09-08 16:17:03
129
原创 linux/tensorflow: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE
使用CUDA训练报错：解决办法：运行时使用： CUDA_VISIBLE_DEVICES=-1 python train_single.py参考：https://www.136.la/tech/show-629533.html
2021-09-08 16:14:39
201
原创 linux libstdc++.so.6: version `GLIBCXX_3.4.20‘ not found
Linux上输入ngram出错：解决办法：需要安装缺少的库参考https://www.jianshu.com/p/28a0c98027a8
2021-09-08 10:31:01
128
原创 linux Argument list too long错误解决方法
当执行：cat THUCNews/gupiao/* > gupiao_all_text.txt报错：sh/bash Argument list too long原因是gupiao中文件数量较大解决办法：find THUCNews/gupiao/ -name "*.txt" | xargs -i cat {} > gupiao_all_text.txt
2021-09-07 13:57:03
177
原创 linux 使用Pool出现AttributeError: __exit__的解决方法
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入源代码：with Pool(14) as p: p.map(merge_txt, task)出现错误：
2021-09-07 09:43:05
553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人