不同的数据文件后缀名:Data and database file extensions
A data file could be any file, but for the purpose of this list, we've listed the most common data files that relate to data used for a database, errors, information, importing, and exporting.
- .csv - Comma separated value file
- .dat - Data file
- .db or .dbf - Database file
- .log - Log file
- .mdb - Microsoft Access database file
- .sav - Save file (e.g., game save file)
- .sql - SQL database file
- .tar - Linux / Unix tarball file archive
- .xml - XML file
数据文件类型包含:结构化,非结构化和半结构化,和准结构化数据。
结构化:任何一列的数据不可以再细分;任何一列数据都有相同的数据类型。是确定一列的数据格式。例如RDS符合结构化数据文件格式,所有关系型数据库中的数据全部为结构化数据。
结构化数据的一般特点,一行为单位,一行数据代表一个实体信息,每一行的数据的属性是相同的.结构化数据是遵循预定义数据模型的数据,因此易于分析。 结构化数据符合具有不同行和列之间关系的表格格式。 结构化数据的常见示例是Excel文件或SQL数据库。 它们每个都有可以排序的结构化行和列。结构化数据取决于数据模型的存在-数据如何存储,处理和访问的模型。每个字段都是离散的,可以与其他字段的数据一起单独或联合访问。 这使结构化数据极其强大:可以快速聚合数据库中各个位置的数据。
结构化数据具有三个主要优点:
机器学习算法易于使用:结构化数据的最大好处是机器学习可以轻松使用它。结构化数据的特定且有组织的性质使该数据易于操作和查询。
商业用户易于使用:结构化数据的另一个好处是,普通商业用户可以轻松使用数据。无需深入了解各种不同类型的数据或该数据之间的关系。
增加对更多工具的访问:使用结构化数据时,数据管理器有更多产品选择。
结构化数据的缺点
结构化数据的缺点集中在缺乏数据灵活性上。结构化数据使用的一些潜在缺点:
预定义的用途限制了使用
有限的存储选项:结构化数据通常存储在数据仓库中。 数据仓库是具有严格模式的数据存储系统。 需求的任何变化都意味着要更新所有结构化数据以满足新需求; 这导致大量的资源和时间花费。 通过使用基于云的数据仓库,可以降低某些成本,因为这可以实现更大的可伸缩性,并且可以消除因将设备置于内部而产生的维护费用。
非结构化:没有固定结构的数据,通常保存为不同类型的文件。是一种不确定信息的数据格式。例如text 文本文档,图片,视频等。非结构化信息通常是大量文本,但也可能包含日期,数字和事实等数据。与存储在结构化数据库中的数据相比,这导致了不规则性和歧义性,使得使用传统程序难以理解。
非结构化数据很难解构,因为它没有预定义的模型,它无法在关系数据库中进行组织。 相反,非关系数据库或NoSQL数据库最适合管理非结构化数据。
非结构化数据的优点
原始格式自由:由于非结构化数据以其原始格式存储,因此只有在需要时才定义数据。因为数据的用途是可调整的。允许使用者仅准备和分析所需的数据。
允许数据库中使用更多种文件格式,因为可以存储的数据不受特定格式的限制。有更多的数据可以借鉴。
更快的累积速率:无需预先定义数据,可以快速轻松地收集数据。
数据湖存储:非结构化数据通常存储在云数据中,可以进行大量存储,有助于削减成本并易于扩展。
非结构化数据的缺点
使用非结构化数据需要特定的专业知识和专门的工具,才能充分发挥其潜力。
需要数据科学专业知识,非结构化数据的最大缺点是,准备和分析数据需要数据科学专业知识。 标准业务用户由于其未定义/未格式化的性质,因此无法按原样使用非结构化数据。 使用非结构化数据不仅需要了解数据的主题或范围,还需要了解如何关联数据以使其有用。
专用工具:除了所需的专业知识以外,非结构化数据还需要专用的工具进行操作。 标准数据工具旨在与结构化数据一起使用,这使得数据管理器在非结构化数据产品中的选择有限,其中一些仍处于起步阶段。
半结构化数据:具有可以识别的模式并可以解析的文本数据文件。比如xml数据文件,限制比非结构化更强烈。半结构化数据是结构化数据的一种形式,它不符合与关系数据库或其他形式的数据表相关联的数据模型的形式结构,但是仍然包含标签或其他标记以分隔语义元素并强制执行记录和字段的层次结构。在数据中。 因此,它也被称为自描述结构。 半结构化数据的示例包括JSON和XML,它们是半结构化数据的形式。之所以存在第三类(在结构化数据和非结构化数据之间),是因为半结构化数据比非结构化数据更容易分析。 许多大数据解决方案和工具都具有“读取”和处理JSON或XML的能力。 与非结构化数据相比,这降低了分析结构化数据的复杂性。
准结构化数据:具有不规则数据格式的文本数据,实用工具可以使之格式化,比如说包含不一样数据值和格式的网站点击数据。
Structured vs Unstructured Data – What's the Difference?learn.g2.com读取数据代码:
读取csv json 格式文件
https://www.mysqltutorial.org/import-csv-file-mysql-table/www.mysqltutorial.org https://medium.com/@AviGoom/how-to-import-a-csv-file-into-a-mysql-database-ef8860878a68medium.com 6.5.1 Table Data Export and Import Wizarddev.mysql.com读取Excel格式文件
https://dev.mysql.com/doc/mysql-for-excel/en/mysql-for-excel-export.htmldev.mysql.com Learn how to import Excel data into a MySQL databasechartio.com新建表格名字---插入数据
import --- 选择数据库地址---打开---下一步---选择现有表单或者添加新表单
读取Excel文件到mysql:
打开mysql表格---新建一个表格(创建的列应与Excel一致)--- 右击数据库中的新建表格---下拉菜单选择导入向导---选中数据的格式---注意xlsx与xls后缀名的区别---下一步---选择文件---打开---选择sheet 数字