![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 62
胡渣大叔
这个作者很懒,什么都没留下…
展开
-
一键顺利安装tensornet
背景:Tensornet介绍TensorNet是一个构建在TensorFlow之上针对广告推荐等大规模稀疏场景优化的分布式训练框架。TensorNet的目标是让所有使用TensorFlow的开发者可以快速的、方便的训练出稀疏参数超过百亿的超大模型。项目地址:https://github.com/Qihoo360/tensornet目标:安装和编译好环境,运行官方demo要想执行官方提供的第一个demo需要先搞定环境,你以为直接把项目官方提供的Dockerfile下载下来直接docke..原创 2021-01-25 15:44:48 · 3882 阅读 · 2 评论 -
使用awk对某列去重并且可保留其他列
同事说需要统计日志中按url的path去重之后的结果,结果中要保留参数。相同url不同参数的,只保留第一行。理论上各种命令都是流式处理,一行一行的处理。每道命令都相当于一个过滤器。比如你要按某列去重,则事先把数据cut到只剩你需要去重的这一列。对url中的path做sort+uniq。但是这样会导致参数都没了。所以不能用这个。最后成功的命令如下:原创 2018-01-11 17:38:16 · 1872 阅读 · 0 评论