python 对各app用多进程方式自动化建模并推送线上

最新推荐文章于 2023-11-01 02:41:00 发布
最新推荐文章于 2023-11-01 02:41:00 发布
阅读量279 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Scarlett_ma/article/details/106648045
版权

multiprocessing模块，同时提供本地和远程并发，使用子进程代替线程，有效避免Global Interpreter Lock 带来的影响。因此， multiprocessing 模块允许程序员充分利用机器上的多个核心。Linux 和 Windows 上都可以运行。

HDFSAppid.py

# -*- coding: utf-8 -*-
import os
import datetime
import sys
import sys, getopt

"""今天"""
date = (datetime.datetime.now()-datetime.timedelta(1)).strftime("%Y-%m-%d")
app_ids = []

"""判断hadoop里当天有哪些APP_id，组成list"""
def summary_app():
    f = os.popen('/data/hadoop-2.9.0/bin/hdfs dfs -ls hdfs://ip地址:端口/ctrp/click/{}'.
                 format(date))
    file_list = f.readlines()
    for file in file_list[1:]:
        app_ids.append(file.strip().split(' ')[-1].split('/')[-1])
    return app_ids

fengff_click.py，对上述app_ids的list，分别执行每个app_id，对点击率建模

# -*- coding: utf-8 -*-
import os
import datetime
import sys
import sys, getopt
import multiprocessing
from HDFSAppid import summary_app
import time

"""今天"""
date = datetime.datetime.now().strftime("%Y-%m-%d")
last_date = (datetime.datetime.now()-datetime.timedelta(3)).strftime('%Y-%m-%d')
lib_file = 'orign.libffm'
libffm_file = 'click.libffm'
libffm_train = 'click_train.libffm'
libffm_eval = 'click_eval.libffm'
libffm_test = 'click_test.libffm'
"""判断hadoop里是否有目标数据，有：下载到服务器上；无：邮件提醒"""



def run_model(app_id):
    t1 = time.time()
    # 判断路径下是否有相关文件，没有的话，新建，否则，不新建
    def run_url():
        if os.path.exists('/data/marq/fengff/{}'.format(str(abs(int(app_id))))) == False:
            dir = os.chdir('/data/marq/fengff/')
            os.system('mkdir {}'.format(str(abs(int(app_id)))))
        if os.path.exists('/data/marq/fengff/{}/click_fm'.format(str(abs(int(app_id))))) == False:
            v_dir = os.chdir('/data/marq/fengff/{}/'.format(str(abs(int(app_id)))))
            os.system('mkdir click_fm')
        val_dir = os.chdir('/data/marq/fengff/{}/click_fm/'.format(str(abs(int(app_id)))))  # 把当前工作目录切换到dirname下
        os.system('mkdir {}'.format(date))
        if os.path.exists('/data/marq/fengff/{}/click_fm/{}'.format(str(abs(int(app_id))),last_date)) == True:
            os.system('rm -rf {}'.format(last_date))
        data_dir = os.chdir('/data/marq/fengff/{}/click_fm/{}'.format(str(abs(int(app_id))),date))  # 把当前工作目录切换到dirname下
        os.system('mkdir model')
    run_url()
    # 对点击率执行的过程及结果输出到相应的文件里，方便后续对每个APP_id根据结果，进行上线。
    with open ('click_{}.log'.format(app_id),'w+') as ff:
        click_dir = os.getcwd()  # 当前数据的工作目录路径
        ff.write("当前数据的工作目录路径："+str(click_dir)+'\n')
     
        f = os.popen(
            '/data/hadoop-2.9.0/bin/hdfs dfs -ls hdfs://10.80.1.161:8020/ctrp/ifs-1-5-0/sample/ffm/click/{}/{}/'.format(
                date,str(app_id)))
        file_list = f.readlines()
        target_file = file_list[1].strip().split(' ')[-1]
        if "_SUCCESS" in target_file:
            os.system(
                '/data/hadoop-2.9.0/bin/hdfs dfs -cat hdfs://10.80.1.161:8020/ctrp/ifs-1-5-0/sample/ffm/click/{}/{}/part-* > {}'.format(
                    date,str(app_id),os.path.join(click_dir, lib_file)))
            os.system(
                 '/data/hadoop-2.9.0/bin/hdfs dfs -cat hdfs://10.80.1.161:8020/ctrp/ifs-1-5-0/sample/ffm/click/{}/{}_schema.json > {}/click_schema.json'.format(
                     date,str(app_id),os.path.join(click_dir,'model')))
            f = os.popen('wc -l {}'.format(lib_file))
            lines = f.readlines()
            ff.write(datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")+'\n')
            ff.write("点击率全样本共有{}行".format(str(lines))+'\n')
            os.system('shuf {} -o {}'.format(lib_file, libffm_file))
            a = ''.join(lines)
            a = int(a.split(' ')[0])
            b = int(a // 5)
            ff.write("每等份有{}行".format(str(b)) + '\n')

            os.system('split -{} {}'.format(b, libffm_file))
            os.system('cat xaa > {}'.format(libffm_eval))
            os.system('cat xab > {}'.format(libffm_test))
            os.system('cat xac xad xae xaf > {}'.format(libffm_train))
            os.system('rm -f xaa xab xac xad xae xaf')

            libff_dir = os.chdir("/data/fengsj/bin/libff")  # 把当前工作目录切换到模型路径下
            os.system(
                './ffm-train -l 0.00001 -k 8 -t 50 -r 0.05 -c 0.05 -s 24 -autostop 4 -p {} {} {}/clkoutput.txt'.format(
                    os.path.join(click_dir, libffm_eval), os.path.join(click_dir, libffm_train),
                    os.path.join(click_dir, 'model')))
            f = os.popen('./ffm-predict {} {}/clkoutput.txt {}/predict_output.txt {} 0.05'.format(
                os.path.join(click_dir, libffm_test), os.path.join(click_dir, 'model'),
                os.path.join(click_dir, 'model'), str(b)))
            t2 = time.time()
            ff.write("本APP_id执行时间为："+str(int(t2-t1)) + 's' +'\n')
            ff.write(str(f.readlines()))
            f.close()
            return True
        else:
            ff.close()
            return False


def main():
    app_ids = summary_app()
    print("app_ids:",app_ids)
    t1 = time.time()
    pool = multiprocessing.Pool(processes=20)  #创建拥有20个进程数量的进程池
    pool.map(run_model,app_ids)
    pool.close()  #关闭进程池，不再接受新的进程
    pool.join()  #主进程阻塞等待子进程的退出
    t2 = time.time()
    print('并行执行时间：{}s'.format(str(int(t2-t1))))


if __name__ == '__main__':
    main()  # 0：运行的文件名，1往后是输入的参数   命令行里示例：Python fengff_imp.py -i inputfile -o outputfile

submitmodel.py 对上述APP各自建模情况，取各自最后的效果数据
，这里需要注意自定义变量

import sys
from HDFSAppid import summary_app

app_ids = summary_app()
for app_id in app_ids:
    exec('clkmap{} = {}'.format(abs(int(app_id)), {}))   # 自定义变量
    exec('impmap{} = {}'.format(abs(int(app_id)), {}))

for app_id in app_ids:
    with open('{}/{}/click_fm/{}/click_{}.log'.format(ddir,str(abs(int(app_id))),date,str(app_id))) as f:
        cli_fm = f.readlines()[-1]
        cli_list = cli_fm.split('[')[-1].split(',')[0:-1]  # 去掉imp log日志的最后一行的最后一句话“wantlsd from heart!\n”
        for l in cli_list:
            target = l.split(' = ')[0].split("'")[1]
            if target == 'oe':
                value = l.split(' = ')[1:][0].split(' ')[0]
            else:
                value = l.split(' = ')[-1]
            eval('clkmap'+str(abs(int(app_id))))[target] = value
        f.close()

    with open('{}/{}/req-imp/{}/imp_{}.log'.format(ddir,str(abs(int(app_id))),date,str(app_id))) as f:
        cli_fm = f.readlines()[-1]
        cli_list = cli_fm.split('[')[-1].split(',')[0:-1]  # 去掉imp log日志的最后一行的最后一句话“wantlsd from heart!\n”
        for l in cli_list:
            target = l.split(' = ')[0].split("'")[1]
            if target == 'oe':
                value = l.split(' = ')[1:][0].split(' ')[0]
            else:
                value = l.split(' = ')[-1]
            eval('impmap'+str(abs(int(app_id))))[target] = value
        f.close()
    print('app_id为{}的点击率指标为：{}'.format(app_id, eval('clkmap' + str(abs(int(app_id))))))
    print('app_id为{}的曝光率指标为：{}'.format(app_id, eval('impmap' + str(abs(int(app_id))))))
Scarlett_ma
关注
个性化建模：从用户行为习惯中学习到用户的个性化喜好偏好
AI天才研究院
08-11 602
2019年，互联网已经成为越来越多人的工作和生活的一部分。其中，在线购物、社交网络、视频直播、音乐听歌等应用广泛应用，这些应用都需要用户的个性化建议。比如，当用户打开美妆店的购物网站时，网站可以根据用户的偏好，给出更多的个性化推荐；当用户浏览社交媒体时，可以推送符合其兴趣的用户动态。为了让用户更加高效地、精准地享受这些服务，企业通常会通过个性化模型将用户需求转变成可行产品或服务。然而，如何建立一个好的个性化模型，并应用到上述的各种场景，仍然是一个困难且具有挑战性的问题。
Python 接口并发测试详解
悦分享
10-23 7197
性能测试是通过自动化测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行的测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试。性能测试的重点是测试在并发条件下服务或系统的瓶颈所在，从而优化相关功能，可能涉及软件及硬件的多方面改进。由此可见，性能测试对整个产品非常重要，甚至可以决定一个产品是否能长久发
python的run方法_Python app.run方法代碼示例
weixin_39659837的博客
12-04 2561
# 需要導入模塊: from app import app [as 別名]# 或者: from app.app import run [as 別名]def stuff_before_request():if request.endpoint in ["get_doi_endpoint_v2", "get_doi_endpoint"]:email = request.args.get("email"...
python 多进程
fuchto的博客
10-29 122
Multiprocessing 模块多进程 multiprocessing --- 基于进程的并行 — Python 3.10.0 文档 引入 from multiprocessing import Process 方法 .run() 表示进程活动的方法。 .start() 启动进程活动 .join([timeout])如果可选参数 timeout 是 None （默认值），则该方法将阻塞，直到调用 join() 方法的进程终止。一个进程可以被 join 多次。进程无法join自身，因.
python实现自动化裁图并保存在指定文件夹下
qq_44091004的博客
01-14 802
函数功能：自动化裁图并保存 函数应用：在深度学习当中，尤其是工业场景，通常数据集的尺寸大小非常大，而网络输入尺寸是固定的，所以在送入网络之前图片会统一resize到网络输入尺寸，图片较大的话，resize操作就相当于下采样，而图片送入网络后，网络通常还会进行数次下采样，如过我们要检测或分类的目标非常小的话，经过系列的下采样操作，感兴趣区域的目标特征直接2会消失。因此我们可以先将大图裁成数张小图进行训练，然后再将小图拼接回去，这样网络就能很好的学习到感兴趣区域的特征信息。 函数运行示例： python seg
【Python】Python多进程详解
m0_59162248的博客
12-06 5763
进程（Process），顾名思义，就是进行中的程序。有一句话说得好：程序是一个没有生命的实体，只有处理器赋予程序生命时，它才能成为一个活动的实体。进程是资源分配的最小单元，也就是说每个进程都有其单独的内存空间。Unix/Linux系统通过fork系统调用创建一个进程，但是在Windows中并没有fork调用。但是别担心，Python中内置的multiprocessing模块是跨平台的，我们可以通过对multiprocess模块中的Process类进行实例化创建一个进程对象，如： 执行结果如下： 创建一个子
Python之多进程
m0_72557783的博客
11-30 1211
python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。
python培训班-Python培训机构_高品质Python线下开发培训班推荐-黑马程序员
q6q6q的专栏
10-28 1434
Python编程基础基础班1课时:15天技术点:97项测验:2次学习方式:线下面授学习目标1.掌握Python开发环境基本配置|2.掌握运算符、表达式、流程控制语句、数组等的使用|3.掌握字符串的基本操作|4.初步建立面向对象的编程思维|5.熟悉异常捕获的基本流程及使用方式|6.掌握类和对象的基本使用方式|7.掌握学生管理系统编写主讲内容1Python基础语法基础语法是编程语言的第一课，打好基础才...
从小白到Python大神只需要100天
MC_XY的博客
08-05 794
人工智能的火爆带火了编程语言Python，语法简单，语言易懂，一股Python学习热潮席卷职场，资深程序员jackfrued在Github上为毫无基础的新手做了一个100天成为Python大师的学习规划，很不错，参考一下。 首先给初学者几个建议： Make English as your working language（把英语作为工作语言） Practice makes perfect（熟能生巧） All experience comes from mistakes（多犯错才能多积累经验） Don`
人工智能大模型技术基础系列之：分布式模型存储与加载
最新发布
AI天才研究院
11-01 317
随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。
Flask 开启多进程或多线程
yang9315的博客
07-15 3万+
Flask 默认是单进程，单线程阻塞的任务模式，在项目上线的时候可以通过nginx+gunicorn 的方式部署flask任务但是在开发的过程中如果想通过延迟的方式测试高并发怎么实现呢，其实非常简单app.run()中可以接受两个参数，分别是threaded和processes，用于开启线程支持和进程支持。1.threaded : 多线程支持，默认为False，即不开启多线程;2.processe...
python实现Flask启动app.run(host='0.0.0.0',port=5000)
热门推荐
ChasingdreamLY的博客
01-13 6万+
记录一个小坑。 这段时间用Flask写了一个小项目，用于局域网内提供restful服务，起到一个连接各个软件的作用吧，然后今天查了一下： from flask import Flask # Flask初始化参数尽量使用你的包名，这个初始化方式是官方推荐的，官方解释：http://flask.pocoo.org/docs/0.12/api/#flask.Flask app = Flask(_...
Python多进程 - 实现多进程的几种方式
Money多多
01-05 2万+
方式一: os.fork() # -*- coding:utf-8 -*- """ pid=os.fork() 1.只用在Unix系统中有效，Windows系统中无效 2.fork函数调用一次，返回两次：在父进程中返回值为子进程id，在子进程中返回值为0 """ import os pid=os.fork() if pid==0: print("执行子进程，子进程
flask 多进程/多线程 解决高并发问题
wyyang2的博客
07-09 3万+
1、简介： Flask 默认是单进程，单线程阻塞的任务模式，在项目上线的时候可以通过nginx+gunicorn 的方式部署flask任务。 app.run()中可以接受两个参数，分别是threaded和processes，用于开启线程支持和进程支持。 1.threaded : 多线程支持，默认为False，即不开启多线程; 2.processes：进程数量，默认为1. 开启方式： if __name__ == '__main__': app.run(threaded=True) # app.run(p
python+appuim实现自动化启动app应用
Marry_Ma的博客
03-30 683
想要做python手机端的自动化 毫无疑问需要搭建环境，至于怎么搭建python+Appium环境呢，这里不多说了，杜娘上面实在是太多了，自己搜索吧，自此进入python+Appium 手机端自动化的行列，话不多说，直入正题吧，上代码： coding=utf-8 from appium import webdriver desired_caps = { #平台名称 ‘platformName’: ...
flask多进程，多线程部署接口程序
qq_15821487的博客
10-12 3624
flask是一种方便快捷轻量级部署接口程序的工具，轻量级服务器架构，可以方便部署一个restful接口程序,供别人调用。 简单说下使用方式： 1 首先导入相应的包： from flask import Flask, request app = Flask(name) app.config[‘JSON_AS_ASCII’] = False 2 给提供接口服务的函数加上修饰： @app.route(’/app’, methods=[‘POST’]) def func(): pass 其中 '/app’是自己取的
Flask开启多线程、多进程
weixin_30352645的博客
06-07 809
一、参数 app.run()中可以接受两个参数，分别是threaded和processes，用于开启线程支持和进程支持。 二、参数说明 1.threaded : 多线程支持，默认为False，即不开启多线程; 2.processes：进程数量，默认为1. 三、使用范例 1 if __name__ == '__main__': 2 app.run(threaded...
python多进程中的run什么时候需要用到
m0_51353579的博客
03-08 1169
run是用来执行一个函数（任务） 当我们创建一个进程时，使用 进程名=multiprocessing.Process() 时，如果Process中的参数target没有指定，那么就会默认使用Process的run方法。此时可以通过run来指定执行的任务。 from multiprocessing import Process import time def r1(process_name): for i in range(5): print(processs_name,os.getp
Appium Python自动化：连接夜神模拟器启动淘宝APP教程
本文主要介绍了如何使用Appium和Python进行移动应用自动化测试，特别是如何连接夜神模拟器并启动淘宝APP。文中详细讲解了每个步骤，包括在PyCharm中编写代码，设置Appium，连接夜神模拟器，以及运行自动化脚本。 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值