linux命令
lieyingkub99
算法研究员
w_chat:lieyingkub88
公众号:算法之道007
您有问题可以和我留言,一起学习交流~
展开
-
pyspark添加jars,存tfrecord
直接上代码: spark = SparkSession \ .builder \ .appName("MIND") \ .config('spark.jars', 'xxx/spark-tensorflow-connector_2.11-1.11.0.jar') \ .getOrCreate() xxx为路径。原创 2020-08-17 15:04:52 · 932 阅读 · 0 评论 -
linux 下 pip 安装
下载文件 wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate 执行安装 python get-pip.py 这就安装好了原创 2020-07-27 16:56:43 · 370 阅读 · 0 评论 -
pyspark orderBy 后dropDuplicates 保留第一个数据
一、pandas 可以取第一个 df = df.sort_values(by=['uid', 'aid']).drop_duplicates(subset=['aid'], keep='first') 二、pyspark 无法通过这种方式取第一个 orderBy( [ 'uid', 'aid'], ascending=[ 0, 0, 0]).drop_duplicates( [ 'uid']) 解决方案: window = Window.partitionBy(['uid']).orde.原创 2020-07-10 14:41:25 · 1213 阅读 · 1 评论 -
vim 编程命令
1、设置行号 set nu 2、快速定位到最后一行:shift + G 快速定位到第一行:1 + shift +G 快速定位到第x行:40 + shift + G 3、ctl+f---->向下翻页 ctl+b----->向上翻页 4、打开一个文件时再打开另外一个 vsp filename ...原创 2020-06-19 14:12:11 · 142 阅读 · 0 评论 -
常用linux命令总结
1、查看file.txt第n列有几种数据 awk -F ‘#’ ‘{print $3}’ file.txt | sort -un原创 2020-05-11 14:19:18 · 102 阅读 · 0 评论