- 博客(4)
- 收藏
- 关注
RSS订阅原创 yarn中容量调度器队列用户限制
在容量调度器中所有队列都位于根节点root下，如果只配置子队列权限，由于继承关系，还是会遵循根队列的权限，我们可以用。AAA:supergroup 这个权限错误，此时只需要在linux本地创建supergroup组，将BBB用户。在capacity-scheduler.xml中配置两个地方，一个根节点权限，一个想要限制的队列。当你用BBB用户提交任务到yarn中队列里，来验证队列权限问题，会报个该用户不具有。加入到该组下，重启集群，在次验证队列用户权限，至此就ok了。命令查看用户拥有哪些队列的权限。
2024-07-09 21:52:48
262
原创 linux中使用yum clean all 遇到的坑
此时就想到要更换数据源是不是就可以解决，但是惨的是此时linux环境中还没有wget命令，这不就歇逼了吗，但也不用惊慌，可以从空闲的虚拟机中安装一个wget。直接使用yum clean all 会导致yun源的元数据缓存以及仓库文件内容都没了。yum clean all + yum makecache 就可以结果 ，但是呢。yum本地数据源 在 /etc/yum.repos.d目录下。导致yum makecache 也用不了，所以怎么呢。然后将wget用scp -r 分发到有问题的环境中。
2024-07-08 15:38:58
387
1原创 使用gensim训练维基百科
小白的在线研修日志一：获得分完词后的维基百科语料库目录一：获得分完词后的维基百科语料库二:使用gensim工具包对wiki.txt 文本进行训练二:使用gensim工具包对wiki.txt 文本进行训练from gensim.models import word2vec#添加logging是为了可以方便的观察日志信息import loggingfrom gensim.models import KeyedVectorslogging.basicConfig
2021-11-11 10:26:51
962
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人