shell并行执行程序脚本

最新推荐文章于 2024-09-02 13:20:38 发布

zcc_0015

最新推荐文章于 2024-09-02 13:20:38 发布

阅读量863

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/zcc_0015/article/details/128907876

版权

该文段描述了一个数据处理流程，包括从catmodel_iter_50/push_user_click.wv文件中提取数据，统计行数，分割文件，并运行两个Python脚本：push_realtime_i2i_by_nn_emb.py和word2vec_predict.py，同时将输出重定向到日志文件。最后清理中间文件。

摘要由CSDN通过智能技术生成

cat model_iter_50/push_user_click.wv|awk 'NR>1{print $1}' > data/all_sm_id
file_rows=`wc -l data/all_sm_id|awk '{print $1}'`
echo "total_user_nums="$file_rows
file_num_row=$((${file_rows} + 9))
file_num=10
every_file_row=$((${file_num_row}/${file_num}))
echo $every_file_row
split -d -a 2 -l ${every_file_row} data/all_sm_id data/'split_'

for ((i=0; i<$file_num; i++))
do
#nohup /data/dlm/anaconda2/bin/python -u push_realtime_i2i_by_nn_emb.py $i >logs/$i.log 2>&1 &
nohup /usr/local/anaconda2/bin/python -u word2vec_predict.py $i 1>logs/$i.out 2>logs/$i.log &
done
wait
cat logs/*.out > sm_id_wv_similarity
rm -f logs/*.out
rm -f data/split_*
rm -f data/all_sm_id