我对python有点陌生,
我当前的代码下载csv文件并将其导入cassandra,但作为一个线程。有没有一种方法可以创建5到10个线程来分割csv文件(行)并并行读取,然后在Cassandra中插入行,每个线程一行?,我正在尝试创建一个股票交易数据库来存储所有的tick数据库,从而寻找提高代码和方法性能的方法。如果这个问题听起来有点傻,请不要理我。在conn = requests.get(url, stream=True)
if conn.status_code == 200:
zfile = zipfile.ZipFile(io.BytesIO(conn.content))
zfile.extractall()
with open(csv_file) as csv_d:
csv_content = csv.reader(csv_d)
for row in csv_content:
symbol = row[0]
stype = row[1]
openp = row[2]
highp = row[3]
lowp = row[4]
closep = row[5]
vol = row[8]
dtime = row[10]
cassa.main('load', symbol, dtime, stype, openp, highp, lowp, closep, vol)
csv_d.close()
os.remove(csv_file)
logging.info("csv file processed succesfully")
谢谢和问候