python 命名管道 性能_使用Node.js使用者降低命名管道(FIFO)的吞吐量 - python

我正在尝试使用命名管道将图像流从python进程传递到nodejs进程，理想情况下以每秒60帧的速度传输1兆字节的图像。我得到的吞吐量仅为每秒25帧左右。我很惊讶它这么慢，所以我测试了将帧从一个python进程转移到第二个python进程。我能够达到每秒约500帧的传输速率。我是nodejs的新手，所以我很容易会丢失一些东西，但是我认为它的速度可以与之媲美。为什么我的nodejs程序在使用命名管道中的数据时速度如此之慢？

我正在使用一个nodejs可读流，并读取'read'事件：

reader.js

const fs = require('fs');

fifo = fs.createReadStream(process.argv[2], { highWaterMark: 4*1024**2, });

let t0 = Date.now();

fifo.on('readable', () => {

const chunk = fifo.read(1024 ** 2);

if (chunk !== null) {

let t1 = Date.now();

process.stdout.write(`${(t1 - t0)/1000.}s, ${1000./(t1 - t0)}fps\n`);

t0 = t1;

}

});

fifo.on('end', () => {

process.stdout.write('end');

});

我的python生产者只是将字节写入命名管道，就好像它是一个文件一样：

producer.py

import sys

import numpy as np

im = np.random.randint(0, 255, size=(1024, 1024)).astype(np.uint8).ravel()

with open(sys.argv[1], 'wb') as f:

while True:

f.write(im.tobytes())

f.flush()

python阅读器只是从命名管道读取文件，就好像它是一个文件一样：

reader.py

import sys

import numpy as np

import time

l = 1024 ** 2

t0 = time.time()

with open(sys.argv[1], 'rb') as f:

while True:

im = f.read(l)

t1 = time.time()

print('{}s, {}fps'.format(t1 - t0, 1/(t1 - t0)))

t0 = t1

要测试将python转换为javascript：

mkfifo /tmp/video; python producer.py /tmp/video & node reader.js /tmp/video

并测试python到python的传输：

mkfifo /tmp/video; python producer.py /tmp/video & python reader.py /tmp/video

我正在使用macOS(OS 10.13.6、2.7 GHz Intel Core i5)。 Python 3.7.0。节点v8.9.1。

我也尝试为nodejs读取器使用'data'事件，就像

慢。 nodejs事件是否有足够的开销来减慢读取速度？

任何想法将不胜感激！

参考方案

这似乎是macOS的限制。

据我所知，macOS上的命名管道具有无法更改的固定缓冲区大小(大约在16或64K的范围内)，而在Linux上，大小可以调整到1M。

经过测试，Linux上的reader.js性能要好得多，与reader.py差不多。

快速测试表明，将Python进程作为子进程运行可以大大提高读取速度：

// reader.js

const { spawn } = require('child_process');

const fifo = spawn('python', ['producer.py']).stdout; // (instead of fs.createReadStream(...))

...

// producer.py

...

f = sys.stdout.buffer

while True:

f.write(im.tobytes())

f.flush()

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭(通过错误或通过任务管理器结束)，则会收到sqlite3错误(sqlite3.OperationalError：数据库已锁定)。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…Python:集群作业管理 - python

我在具有两个阶段的计算群集(Slurm)上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？工作流程类似于以下内容：w…Python-Excel导出 - python

我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…Python:传递记录器是个好主意吗？ - python

我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…Python pytz时区函数返回的时区为9分钟 - python

由于某些原因，我无法从以下代码中找出原因：>>> from pytz import timezone >>> timezone('America/Chicago') 我得到：