多线程遇到负载均衡有问题解决方案

@直接上代码

线程分配数据分发的机器节点

        sentiment_host = ["192.168.50.119:33140", "192.168.50.139:33140", "192.168.50.169:33140", "192.168.50.179:33140"]
        factor, reminder = divmod(len(tags_cul_name), len(sentiment_host))
        extend_sentiment_host = factor * sentiment_host + sentiment_host[:reminder]
        nest_tags = [[tag,url] for tag, url in zip(tags_cul_name, extend_sentiment_host)]
        with Pool(processes=4) as p:
            partial_f = partial(sen_deal_new, df_clean_list_is_0, 10000)
            data_5tags = list(p.map(partial_f, nest_tags))
#结果是一个list包含4个线程的结果。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值