csv to txt

已于 2022-04-20 18:54:02 修改
阅读量768 收藏
点赞数 1
分类专栏： 深度学习 代码 文章标签： python
于 2022-04-18 16:13:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44576434/article/details/124252298
版权
这段代码将图像数据集划分为训练、验证和测试集，并生成对应的txt标注文件。利用pandas、shutil和tqdm等库，对CSV中的图像信息进行处理，创建新的数据集结构，同时调整了背景图的比例。最终，该工具适用于训练模型的场景。
摘要由CSDN通过智能技术生成

1、原版

import pandas as pd
import os
from pathlib import Path
import shutil
from tqdm.notebook import tqdm

full_images = "F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/train_image"


def create_txt_file(path: Path, item):
    """根据 item 生成 txt 文件，并写入在对应的 path
    """
    if not item.pets_name != '无':
        return
    anno_str = []
    w = item.r_x - item.l_x
    h = item.l_y - item.r_y
    x, y, w, h = item.c_x / 5472, item.c_y / 3648, w / 5472, h / 3648

    # 有部分框超出边界
    h = min((1 - y), h)
    w = min((1 - x), w)

    xc = x + w / 2
    yc = y + h / 2
    name = item.pets_name
    anno_str.append(f"{name} {xc} {yc} {w} {h}")
    path.write_text("\n".join(anno_str))


def generate_new_dataset(dest_dir, bg_ratio):


    train_csv = "F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/train.csv"
    val_csv = "F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/test.csv"
    # mkdir(parents=True, exist_ok=True)
    # 是否创建父目录，父目录不存在建立，存在赴约
    Path(dest_dir).mkdir(exist_ok=True)
    # cfg文档
    cfg = f"""
path: {dest_dir}
train: images/train2017
val: images/val2017
test: images/test2017
nc: 28
names: ['patric']
"""
    # 以yaml格式写入datast.yaml
    cfg_file = Path(dest_dir) / "dataset.yaml"
    cfg_file.write_text(cfg)

    # 读取train.csv文件
    train_df = pd.read_csv(train_csv, encoding='gb18030')
    # train.csv文件中有对象的
    train_df_with_gt = train_df[train_df.pets_name != '无']
    # 背景图默认只占整个训练集的0.1，因此是带标签的10%作为背景图数量 这儿是101，然后将这个背景图与训练图concat起来
    bg_number = int(len(train_df_with_gt) * bg_ratio)
    # sample(num),会在无标记中抽取101个无标记
    train_df_without_gt = train_df[train_df.pets_name == '无'].sample(bg_number)
    train_df = pd.concat([train_df_without_gt, train_df_with_gt])
    # 创建字典 dfs['train'] =train_df
    dfs = {
        "train": train_df,
        "val": pd.read_csv(val_csv, encoding='gb18030'),
        "test": pd.read_csv(val_csv, encoding='gb18030')
    }

    # 下面还有个小for，第一次mode是train
    for mode in ["train", "val", "test"]:
        image_folder = Path(dest_dir) / "images" / f"{mode}2017"
        shutil.rmtree(image_folder, ignore_errors=True)
        image_folder.mkdir(parents=True, exist_ok=True)

        label_folder = Path(dest_dir) / "labels" / f"{mode}2017"
        shutil.rmtree(label_folder, ignore_errors=True)
        label_folder.mkdir(parents=True, exist_ok=True)

        df = dfs[mode]
        #  item:取上面df=train_df的第一个数119,在df里面进行迭代
        #  total表示总的项目=1120
        #  后面tqdm有两个值，而我们只需要一个值，因此把不用的df.iterrows()赋值给_即可
        for _, item in tqdm(df.iterrows(), total=len(df)):
    # 接下来干两件事，将train_image照片循环一次复制给train、test、val
        # 还有将对应的txt复制到label下
            # file_name = item.filename
            # # 图片
            # shutil.copy(item.image_path, image_folder / f"{file_name}.jpg")
            # # label
            # create_txt_file(Path(label_folder) / f"{file_name}.txt", item)
    # 获取item属性那种具体位置，然后复制到后面这个文件夹

            shutil.copy(f"{full_images}/{item.filename}", f"{image_folder}/{item.filename}")
            create_txt_file(Path(label_folder) / f"{item.filename}.txt", item)



dest_dir ="F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/Datasets"
generate_new_dataset(dest_dir, bg_ratio=0.1)

2、改动版

import pandas as pd
import os
from pathlib import Path
import shutil
from tqdm.notebook import tqdm
from sklearn.model_selection import KFold

full_images = "F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/train_image"


def create_txt_file(path: Path, item):
    """根据 item 生成 txt 文件，并写入在对应的 path
    """
    if not item.pets_name != '无':
        return
    anno_str = []
    w = item.r_x - item.l_x
    h = item.l_y - item.r_y
    x, y, w, h = item.c_x / 5472, item.c_y / 3648, w / 5472, h / 3648

    # 有部分框超出边界
    h = min((1 - y), h)
    w = min((1 - x), w)

    xc = x + w / 2
    yc = y + h / 2
    name = item.pets_name
    anno_str.append(f"{name} {xc} {yc} {w} {h}")
    path.write_text("\n".join(anno_str))


def generate_new_dataset(dest_dir, bg_ratio):
     # update begin
    all_csv = "F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/train.csv"
    all_csv = pd.read_csv(all_csv, encoding='gb18030')
    k = 2
    kf = KFold(n_splits=k, shuffle=True)
    for train_index, test_index in kf.split(all_csv):
        print('train_index:%s , test_index: %s ' % (train_index, test_index))
        train_csv = all_csv.iloc[train_index]
        val_csv = all_csv.iloc[test_index]
    # update end
        # mkdir(parents=True, exist_ok=True)
        # 是否创建父目录，父目录不存在建立，存在赴约
        Path(dest_dir).mkdir(exist_ok=True)
        # cfg文档
        cfg = f"""
    path: {dest_dir}
    train: images/train2017
    val: images/val2017
    test: images/test2017
    nc: 1
    names: ['patric']
    """
        # 以yaml格式写入datast.yaml
        cfg_file = Path(dest_dir) / "dataset.yaml"
        cfg_file.write_text(cfg)

        # 读取train.csv文件
        train_df = train_csv
        # train.csv文件中有对象的
        train_df_with_gt = train_df[train_df.pets_name != '无']
        # 背景图默认只占整个训练集的0.1，因此是带标签的10%作为背景图数量 这儿是101，然后将这个背景图与训练图concat起来
        bg_number = int(len(train_df_with_gt) * bg_ratio)
        # sample(num),会在无标记中抽取101个无标记
        train_df_without_gt = train_df[train_df.pets_name == '无'].sample(bg_number)
        train_df = pd.concat([train_df_without_gt, train_df_with_gt])
        # 创建字典 dfs['train'] =train_df
        dfs = {
            "train": train_df,
            "val":  val_csv,
            "test":  val_csv
        }

        # 下面还有个小for，第一次mode是train
        for mode in ["train", "val", "test"]:
            image_folder = Path(dest_dir) / "images" / f"{mode}2017"
            shutil.rmtree(image_folder, ignore_errors=True)
            image_folder.mkdir(parents=True, exist_ok=True)

            label_folder = Path(dest_dir) / "labels" / f"{mode}2017"
            shutil.rmtree(label_folder, ignore_errors=True)
            label_folder.mkdir(parents=True, exist_ok=True)

            df = dfs[mode]
            #  item:取上面df=train_df的第一个数119,在df里面进行迭代
            #  total表示总的项目=1120
            #  后面tqdm有两个值，而我们只需要一个值，因此把不用的df.iterrows()赋值给_即可
            for _, item in tqdm(df.iterrows(), total=len(df)):
        # 接下来干两件事，将train_image照片循环一次复制给train、test、val
            # 还有将对应的txt复制到label下
                # file_name = item.filename
                # # 图片
                # shutil.copy(item.image_path, image_folder / f"{file_name}.jpg")
                # # label
                # create_txt_file(Path(label_folder) / f"{file_name}.txt", item)
        # 获取item属性那种具体位置，然后复制到后面这个文件夹
                # 这句话就是复制每个excel下对应的图片
                shutil.copy(f"{full_images}/{item.filename}", f"{image_folder}/{item.filename}")
                create_txt_file(Path(label_folder) / f"{item.filename}.txt", item)
    print('aaaaaaaaaaaaaaaa')



dest_dir ="F:/BaiduNetdiskDownload/正式数据/2022.04.06(正式数据)/Datasets"
generate_new_dataset(dest_dir, bg_ratio=0.1)

3、再来一版–融进去能训练的

ull_images = "F:/BaiduNetdiskDownload/AAA/2022.04.06/train_image"
dest_dir = 'F:/BaiduNetdiskDownload/AAA/2022.04.06/datasets'
def create_txt_file(path: Path, item):
    """根据 item 生成 txt 文件，并写入在对应的 path
    """
    if not item.pets_name != '[]':
        return
    anno_str = []
    w = item.r_x - item.l_x
    h = item.r_y - item.l_y
    x, y, w, h = item.c_x / 5472, item.c_y / 3648, w / 5472, h / 3648

    # # 有部分框超出边界
    # h = min((1 - y), h)
    # w = min((1 - x), w)
    #
    # xc = x + w / 2
    # yc = y + h / 2
    name = item.pets_name
    anno_str.append(f"{name} {x} {y} {w} {h}")
    path.write_text("\n".join(anno_str))


def generate_new_dataset(dest_dir, bg_ratio):
    train_csv = "F:/BaiduNetdiskDownload/AAA/2022.04.06/train.csv"
    val_csv = "F:/BaiduNetdiskDownload/AAA/2022.04.06/test.csv"
    # mkdir(parents=True, exist_ok=True)
    # 是否创建父目录，父目录不存在建立，存在赴约
    Path(dest_dir).mkdir(exist_ok=True)
# cfg文档
    dd = 'F:/BaiduNetdiskDownload/AAA/2022.04.06/yolov5-master/datasets'
    cfg = f"""
path: {dd}
train: images/train2017
val: images/val2017
test: images/test2017
nc: 28
names: ['0', '1', '2', '3', '4', '5', '6', '7',
        '8', '9', '10', '11', '12', '13', '14', 
        '15', '16', '17', '18', '19', '20', '21', 
        '22', '23', '24', '25', '26', '27']
"""
    # 以yaml格式写入datast.yaml
    cfg_file = Path(dest_dir) / "dataset.yaml"
    cfg_file.write_text(cfg)

    # 读取train.csv文件
    train_df = pd.read_csv(train_csv, encoding='gb18030')
    # train.csv文件中有对象的
    train_df_with_gt = train_df[train_df.pets_name != '[]']
    # 背景图默认只占整个训练集的0.1，因此是带标签的10%作为背景图数量 这儿是101，然后将这个背景图与训练图concat起来
    bg_number = int(len(train_df_with_gt) * bg_ratio)
    # sample(num),会在无标记中抽取101个无标记
    train_df_without_gt = train_df[train_df.pets_name == '[]'].sample(bg_number)
    train_df = pd.concat([train_df_without_gt, train_df_with_gt])
    # 创建字典 dfs['train'] =train_df
    dfs = {
        "train": train_df,
        "val":  pd.read_csv(val_csv, encoding='gb18030'),
        "test": pd.read_csv(val_csv, encoding='gb18030'),
    }

    # 下面还有个小for，第一次mode是train
    for mode in ["train", "val", "test"]:
        image_folder = Path(dest_dir) / "images" / f"{mode}2017"
        shutil.rmtree(image_folder, ignore_errors=True)
        image_folder.mkdir(parents=True, exist_ok=True)

        label_folder = Path(dest_dir) / "labels" / f"{mode}2017"
        shutil.rmtree(label_folder, ignore_errors=True)
        label_folder.mkdir(parents=True, exist_ok=True)

        df = dfs[mode]
        #  item:取上面df=train_df的第一个数119,在df里面进行迭代
        #  total表示总的项目=1120
        #  后面tqdm有两个值，而我们只需要一个值，因此把不用的df.iterrows()赋值给_即可
        for _, item in tqdm(df.iterrows(), total=len(df)):
    # 接下来干两件事，将train_image照片循环一次复制给train、test、val
        # 还有将对应的txt复制到label下
            # file_name = item.filename
            # # 图片
            # shutil.copy(item.image_path, image_folder / f"{file_name}.jpg")
            # # label
            # create_txt_file(Path(label_folder) / f"{file_name}.txt", item)
    # 获取item属性那种具体位置，然后复制到后面这个文件夹
            # 这句话就是复制每个excel下对应的图片
            shutil.copy(f"{full_images}/{item.filename}", f"{image_folder}/{item.filename}")
            new_filename = item.filename.strip('.jpg')
            create_txt_file(Path(label_folder) / f"{new_filename }.txt", item)

主要逻辑是：
将一个总的图像库成train，val，test三个文件夹，在一个大循环里主要做了两件事，分别对train，val，test中每个item复制图片，根据excel创建txt

参考：https://github.com/louis-she/reef-solution

Pandas读写txt和csv文件（read_csv、to_csv参数说明+代码实战）
mrdeam的博客
05-07 1193
本文深入介绍了Pandas在数据处理领域的关键功能，从文件读写到数据清洗、异常处理、时间序列操作、机器学习，覆盖了数据科学领域的多个方面。学习了Pandas中的read_csv和to_csv函数，掌握了它们的基本用法、参数解释，以及一些高级参数的应用。演示了如何处理缺失值、进行数据清洗，并使用query和replace等方法进行数据过滤和替换。强调了在实际项目中使用try-except语句来处理异常，结合日志记录，提高代码的健壮性。
nodejs csv文件转txt
02-22
基于nodejs程序 用于将指定目录中的csv文件转换成txt文件
csv文件转txt文件
weixin_44031176的博客
04-20 2732
批量CSV文件转TXT文件
python中，将csv文件转换为txt文件的几种方法
weixin_51659315的博客
01-03 5978
这个例子中使用 open 函数打开CSV和TXT文件，逐行读取CSV文件，然后将每一行的字段以逗号分隔写入TXT文件。注意：需要根据实际情况进行字段的分隔和处理。这两个例子中，'\t' 表示制表符，可以根据需要选择其他分隔符。这里使用了制表符，将每行的字段以制表符分隔写入TXT文件。总体而言，使用 csv 模块和 pandas 库通常更为方便和灵活，尤其是在处理大型和复杂的数据集时。
csv文件转换为txt格式
热门推荐
Wxxx744的博客
09-16 2万+
打开csv文件乱码，将其类型转换为txt 直接打开csv文件会出现如下乱码 1.新建excel 点击此单元格 依次点击 “数据” ->“自文本” 最后为处理结果 之后可以按照自己的需求对表格内的数据进行操作。 保存为txt格式只需要 “另存为”->“txt”格式 ...
csv文件和txt文件的转换
qq_62965858的博客
12-25 3024
csv文件：Comma-Separated Values，逗号分隔值文件。其基本规则： 纯文本格式（txt） 特殊符号分隔（逗号） 以行为单位（line/row），中间没有空行 逗号一定是英文半角，分隔每列数据（二维数组） txt文件：由单一特定编码（如UTF_8）组成的文件,能用记事本打开和读取的文件 ...
golang实现的csv及txt转excel工具.zip
02-24
该压缩包文件“golang实现的csv及txt转excel工具.zip”包含了一个使用Go语言（Golang）编写的实用程序，用于将CSV（逗号分隔值）和TXT（纯文本）文件转换为Excel格式。这个工具已经编译为可执行文件（exe），这意味...
python CSV转换TXT
whhh12335的博客
01-07 4715
import csv,shutil a=open('../Stu_pack/学生考勤.csv','r') reader = csv.reader(a) with open('the last.txt','w') as f: for i in reader: for x in i: f.write(x) f.write('\t') f.write('\n') a.close() shutil.copy(.
json_to_csv.txt
04-01
json数据的转换，适合爬虫输出数据的处理，本资源使用R轻量代码实现该功能转换。
python 快速把超大txt文件转存为csv的实例
12-23
今天项目有个需求，就是把txt文件转为csv，txt之间是空格隔开，...data_txtDF.to_csv('datas_train.csv',index=False) 上述的datas_train.txt只有不到100MB，560W行数据，三分钟之内转换完毕。 然后我换了一个5600W
CSV文件转换器(转TXT/Excel等格式).rar
09-03
软件介绍: Advanced CSV Converter是一款CSV文件转换工具，它能够将CSV文件转换为TXT/HTM/XLS/EXCEL XML/DBF等格式文件。首先选择要转换的CSV文件，或带有CSV文件的文件夹，选择转换后的保存位置，下一步后，设置转换常用选项，最后点击转换按钮就能转换后，转换速度快精度高。
Python脚本——.csv文件转.txt脚本三则
m0_57021623的博客
01-14 1203
【代码】Python脚本——.csv文件转.txt脚本三则。
YOLO系列笔记（十二）——csv文件转成text文件
最新发布
XISHI_TIANLAN的博客
05-07 1123
在上一篇文章中，我们探讨了如何将CSV格式的数据集转换为XML格式。然而，某些神经网络进行数据处理时，可能需要将数据直接以纯文本格式（TXT）提供。这种需求在神经网络的输入处理中也非常常见，因为某些处理框架和库可能优先或仅支持文本格式的输入。幸运的是，从CSV文件到TXT文件的转换是直接且不复杂的，不需要经过XML这一中间步骤。本文将详细介绍如何直接将CSV文件转换为更适合神经网络读取的TXT格式，并提供相应的Python脚本实现。
CSV文件格式和txt文件格式的转换
m0_61970814的博客
12-23 1052
代码如下： #CSV-TXT fr=open('../demo/副本_学生考勤.csv','rt') fw=open('副本_学生考勤.txt','w+') ls=[] for line in fr: line=line.replace('\n','') #删除换行符 line=line.split(',') #将每行数据以逗号分隔 ls.append(line) #将分隔的每个数据追加到列表内 print(ls
csv文件转成txt文件
qq_41652814的博客
04-24 1万+
csv文件转成txt文件 借鉴文章https://blog.csdn.net/lqzdreamer/article/details/76549256#commentBox 今天在跑svm小实验的时候，要把csv文件转成txt文件的时候遇到了困难，先把csv文件另存为txt格式的，如果代码是utf-8记得选utf-8格式，我把它保存成utf-8的格式后，导入的txt文件，代码仍然报错，代码中导入...
CSV 转TXT
nickzhut的专栏
01-12 4797
public static void specialChar(String filePath,int starRow) throws Exception {             BufferedReader br = null;           File f = new File(filePath);           String fileName = f.getName();             if (!fileName.substring(fileName.indexOf(".") +
python-将csv转txt
Y2158542501的博客
12-30 3996
# 打开与关闭文件 ''' f = open('../Stu_pack/万疆.txt', 'rt', encoding='utf_8') for line in f: print(line) f.close() ''' # 写入和读取文件 # txt文件的复制 ''' fr = open('../Stu_pack/万疆.txt', 'rt', encoding='utf_8') fw = open('./副本_万疆.txt', 'w+', encoding='utf_8') fw.writ.
文件转换（CSV转TXT）
qq_52499262的博客
12-10 2015
文件
pandas csv转txt
07-15
你可以使用pandas库中的`read_csv()`函数来读取CSV文件，并使用`to_csv()`函数将其转换为TXT文件。 首先，确保你已经安装了pandas库。如果没有安装，可以使用以下命令进行安装： ``` pip install pandas ``` 接下来，使用以下代码将CSV文件转换为TXT文件： ```python import pandas as pd # 读取CSV文件 data = pd.read_csv('input.csv') # 将数据保存为TXT文件 data.to_csv('output.txt', sep='\t', index=False) ``` 在上述代码中，`input.csv`是你的CSV文件的路径，`output.txt`是你要保存的TXT文件的路径。`sep='\t'`用于设置TXT文件中的分隔符（这里使用制表符）。`index=False`用于不保存行索引。 运行以上代码后，CSV文件将被转换为TXT文件并保存在指定的路径中。 请注意，转换后的TXT文件中的数据格式将与CSV文件相同，只是以制表符分隔而不是逗号。如果需要其他的分隔符，可以根据需求进行修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值