儿童读物数据集的清洗（一）

最新推荐文章于 2024-10-12 06:32:54 发布
最新推荐文章于 2024-10-12 06:32:54 发布
阅读量437 收藏
点赞数
分类专栏： 创新实训 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40711135/article/details/106821036
版权
6月17日的实训记录中，对儿童文学数据集进行整理，移除文章开头信息和描述，消除间隔及章节描述，整合为长文本格式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

6月17日实训记录

儿童文学的相关数据集是分散在每一个文件夹下有一本书，做为总的训练集需要汇总成一个txt文件，今天进行了部分的数据集的整理入图：
将文章开头的一些信息和描述去除
在这里插入图片描述消除所有的间隔和章节的描述，形成一个长文本的形式。如下图：
在这里插入图片描述

儿童认知发展的非线性动力学：学习过程的数学轨迹
AI天才研究院
01-22 1004
引入：非线性动力学与儿童认知发展 1.1.1 研究背景 儿童认知发展是心理学、教育学以及计算机科学等领域的重要研究课题。认知发展涉及儿童从出生到成年的各个阶段，包括感知、记忆、思维、语言、社会行为等多个方面。传统的研究方法主要基于线性模型，这些方法在解释某些认知过程方面具有一定的局限性
AIGC领域与AIGC写作：开启内容创作的新时代
最新发布
AI天才研究院
05-02 1016
随着深度学习技术的飞速发展，人工智能已从辅助工具进化为内容生产的核心参与者。AIGC（Artificial Intelligence Generated Content）作为继UGC（用户生成内容）、PGC（专业生成内容）之后的全新内容生产范式，正在重构数字内容产业的底层逻辑。构建AIGC技术体系的完整认知框架解析AIGC写作的核心算法原理与实现路径揭示AIGC对内容创作流程的革命性影响探讨技术落地中的实际挑战与未来趋势。
中文数据清洗
w__Y__w的博客
12-09 1930
1、HTML标签去除 从Web获得的数据通常包含许多HTML实体、注释，如lt；& gt；& &；，嵌入在原始数据中。这些信息属于噪音数据，会严重影响数据的质量，需要使用正则表达式去除。 2、去除URL 网页文本数据中，如推特、评论中，会包含一些URL和链接，根据业务需求，不是项目需要的数据，因此需要去除。 3、长串数字、特殊符号去除 通常情况下中文文本中长串的数字代表手机号、车牌号、用户名ID等文本内容，在非特定的文本任...
数据清洗方法
测试0901-1
03-01 462
1.数据错误脏数据或错误数据比如, 温度 = -2003，数据不正确‘0’ 代表真实的0还是代表缺失，数据不一致2.删除重复值删除重复数据或对重复数据进行标记3.离散值检测单变量离群值处理：1）绘图：在图中找出离群的异常值，根据情况对其进行删除或者对数据进行变换从而在数值上使其不离群或者不明显。2）学生化(标准化)：用变量除以他们的标准差就可得到学生化数值多变量离群值1）绘图：在图中找出明显的...
儿童读物的数据集清洗（三）
weixin_40711135的博客
06-19 221
儿童读物的数据集清洗1.完成全部数据集的清洗2.合并数据集3.to do list 1.完成全部数据集的清洗 根据昨天的数据集清洗方法，清洗完成全部的数据集 如下所示： 2.合并数据集 将不容的小故事的数据集合并成一个txt文件 这些数据将做为训练数据集进行标点符号的预训练 3.to do list 处理小学生作文数据集，随机生成错误的标点符号，形成小学生含错误标点的样本。 ...
儿童读物数据集的清洗（二）
weixin_40711135的博客
06-18 564
儿童读物的数据清洗1.源数据集的介绍2.数据的最终呈现形式3.对于数据集停用词的处理4.接下来的计划 1.源数据集的介绍 测次的训练数据集采取儿童文学的数据 包含大量的设计童话、小故事、科普知识等的内容，年龄跨度大，可以适合低年级：1～3年级的基本写作和阅读范围，同时较为复杂的科学知识，丰富的故事等可以适合高年级：4～6年级的丰富写作水平也能符合。 数据集原始为一个故事为一个txt文档，存储在对应的文件夹下： 且每个txt文件中，包含一些网页作者等信息，章节名称、空格等，会影响标点符号训练的效果 需要
python对数据集进行清洗与可视化
小屋
03-23 2742
在制作数据集的过程中难免会发生一些文件的缺失及标签的错误，下面代码可以对数据进行清洗，并生成报告，可视化查看我们的数据集。直接上代码： import os import easygui as g import glob import pandas as pd import xml.etree.ElementTree as ET from tqdm import tqdm import pandas_profiling image_path = g.diropenbox( title= "请选择图像文件夹路
探索儿童书籍年龄段自动分配规则的数据集
本资源是一个针对儿童书籍和故事的数据集，其中包含了大量经过高度评价的儿童读物信息。这些信息对于研究者、教育工作者、图书出版行业等相关人士来说，具有极高的参考价值。数据集的详细内容包括但不限于每本书的...
数据分析中的核心概念概述
pythonandaiot的博客
05-10 1075
数据分析包含了数据检查、清洗、变换和建模等流程，借助数据分析，我们可以从数据中获取有用的信息。 在现代生活中，数据分析无处不在：它有助于技术的改进，软件的构建以及产品的发展。 本文首先会介绍数据分析的核心原则及其应用，接着会提供一些示例，借助这些示例所展示的方法，你也可以在自己的数据集上获得有价值的信息。 同时，我也会分享几个大家所熟悉的，诸如网页优化、健康和饮食软件，农业和保险等产品中的数据分析应用。 如果你也认同“数据是影响你决定的向导“，那么就往下继续学习吧。 例题 首先，看看你是...
人工智能数据集处理——数据清理1
m0_74261473的博客
06-24 1541
在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作。达到去除异常、纠正错误、补足缺失的目的。
数据清洗
10-12
私人数据清洗的文件，不用下载，里面只有个和一个练习用的数据集，以及代码
微博评论情感数据集(清洗之后的，有标注，中文,csv格式).zip
03-24
评论情感分类训练数据集，已完成清洗标注，分成四类，csv格式文档，二十万条数据清洗而成： 0：喜悦 1：愤怒 2：厌恶 3：低落
Health conditions among children under 18 years 18岁以下儿童的健康状况-数据集
03-12
这是由疾病控制与预防中心托管的数据集。 SELECT~1.CSV socrata_metadata(1).json Health conditions among children under_datasets.txt
BetaBitSagaDane:来自“，Beta Bit”故事的儿童数据集和函数[R包]
05-28
来自Beta和Bit奇妙冒险的数据 来自“”故事的秘籍和图表。 随机森林中Beta和Bit故事的代码和图表。
还在为数据清洗抓狂？这里有一个简单实用的清洗代码集
weixin_34033624的博客
01-23 245
选自towardsdatascience，作者：Admond Lee，机器之心编译，参与：Geek AI、张倩。数据清洗是数据科学家逃不掉的一份苦差事。为了让这项工作不那么痛苦，本文作者分享了自己的数据清洗代码集。现实世界中的数据通常质量不高，作为一名数据科学家，有时也需要承担一部分数据清洗的工作，这要求数据科学家们应该能够在进行数据分析或建模工作之前执行数据清洗步骤，从而确保数据的质量最佳。不过...
数据清洗、数据集成
厚积薄发
05-14 3902
数据清洗、数据集成 整个数据分析过程中，数据清洗大概占到了80%。 数据质量准则： 完整性：单条数据是否存在空值，统计的字段是否完善。 全面性：观察某一列全部数据值可通过常识判断该列在数据定义、单位标识、数字本身方面是否有问题。 合法性：数据的类型、内容、大小的合法性。 唯一性：数据是否存在重复。 对于缺失值的处理通常采用三种方法： 删除：删除数据缺失的记录 均值：使用当前列的均值 d...
机器学习-- 如何清洗数据集
weixin_42367888的博客
06-10 3371
数据清洗是数据处理和分析中的重要步骤，旨在确保数据的准确性、一致性和完整性。通过处理缺失值、去除重复数据、修正数据格式、处理异常值、标准化和归一化、处理不一致的数据、转换数据类型和数据集成，可以大大提高数据的质量，为后续的数据分析和建模提供坚实的基础。
pandas：世界各国GDP数据集数据清洗案例
这也是计划的一部分的博客
10-13 2398
数据清洗一般步骤包括：寻找并补充缺失值，删去除不合理的值，例如某国超过全球总量的GDP数值，去除符号错误，例如GDP字段内填写了文字，去除重复行列， 例如一年的GDP统计了两次，相关性检验，计算各字段间的相关性等等。 Country Name Country Code Indica
数据处理和分析之数据预处理：数据清洗 (Data Cleaning)：文本数据的清洗与预处理
2401_87715305的博客
10-12 435
NLTK (Natural Language Toolkit) 是一个强大的Python库，用于处理和分析文本数据。它提供了易于使用的接口，可以访问超过50个语料库和词汇资源，如WordNet，以及一套文本处理库，用于分类、标记、词干化、分词和语义推理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值