大数据测试
走走又停停,人生路上皆风景
这个作者很懒,什么都没留下…
展开
-
批量生成json语句(生成json list,可以直接导入mongo 库)
# 生成json list,可以直接导入mongo 库 import json def create_json_file(): for i in range(1, 1100009): d = {"testNumber": i, "testText": str(i) + " this is test data 这是测试数据"} d_str = json.dumps(d) print(d_str) with open("test_dc.js原创 2021-03-10 11:41:14 · 287 阅读 · 0 评论 -
批量生成SQL语句(生成insert 语句,并写入文件中)
# 生成insert 语句,并写入文件中 def create_sql(): for i in range(1, 1000010): sql = 'insert into dc_test values ({}, \'{}\');'.format(i, str(i) + " dc 100w 数据测试, check dc data") with open("test_sql.sql", "a", encoding="utf-8") as test_dc:原创 2021-03-10 11:37:53 · 821 阅读 · 0 评论 -
大数据测试---excel分段上传
# upload excel file from api def upload_test_excel(stream_id, file): upload_url = baseURL + "/stream/{}/XXXXX".format(stream_id) header = pd.read_excel(file, nrows=0) header = header.columns.values.tolist() skiprows = 0 count = 0 li原创 2021-01-12 18:35:20 · 224 阅读 · 0 评论 -
大数据测试---CSV文件分段读取上传
分段上传数据–CSV上传 def upload_stream(file, num=None): upload_url = “http://XXXXXXX” read_csv_file = pd.read_csv(file, iterator=True, low_memory=False) count = 0 if num is None: cycles_numbers = 1000 else: cycles_numbers = num原创 2020-10-21 14:57:06 · 415 阅读 · 0 评论 -
大数据测试---json序列文件分段上传
读取json序列的文件,并生成迭代器 def read_json_file(file_name): with open(file_name, 'r') as f: for el in f: j_t = json.loads(el) yield j_t or '' 分段上传数据–json上传 @func_time def upload_json(est_file): upload_url = “https://XXXXXX”原创 2020-10-21 14:54:07 · 368 阅读 · 0 评论 -
超大文件,通过流接口将文件按行分割后上传
将一个大文件通过流上传的接口,按行分割后进行上传 (这里用的文件是csv文件。其它文件的话,可以先转成csv文件;tqdm可以显示上传进度) # 分段上传数据 @func_time def upload_stream(stream_id, file): upload_url = baseURL + "/XXXXXX/{}/documents".format(stream_id) user_info = pd.read_csv(file, iterator=True, low_memory=F原创 2020-06-12 18:19:02 · 370 阅读 · 0 评论 -
通过pandas 处理CSV文件,增加行,增加列,转json list
通过pandas 处理CSV文件,增加行,增加列,转json list 在网上找到了一切小技巧,让无for循环有进度条;添加一个程序运行时间记录的计时器等 import csv import os import time from decimal import Decimal import pandas as pd import xlrd from tqdm import tqdm import jsonlines cur_path = os.path.dirname(os.path.realpath(原创 2020-06-12 18:13:40 · 665 阅读 · 0 评论