非结构化数据的定义及处理方法

非结构化数据的定义及处理方法

1.定义

非结构化数据：
相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。
非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。

2.非结构化数据的重要性

据IDC调查，目前企业结构化数据仅占到全部数据量的20%，其余80%都是以文件形式存在的非结构化和半结构化数据，这些非结构化数据每年增长率达60%。

非结构化数据，顾名思义，是存储在文件系统的信息，包括视频、音频、图片、图像、文档、文本等形式。非结构化数据具有某种特定和持续的价值，这种价值在共享、检索、分析等使用过程中得到放大。

如何管理好这80%的数据，是企业构建协同生态的关键一环。非结构化数据的存储和流转，大都采用邮件、FTP以及QQ等IM工具为主。这些工具传递文件时速度不稳定，安全性得不到保障，并且无法很好地满足企业中一对多的高频数据传递场景。

3。处理方式

查询

（1）顺序扫描法(Serial Scanning)

所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容，只是相当的慢。

（2）全文检索(Full-text Search)

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

例如：字典。字典的拼音表和部首检字表就相当于字典的索引，对每一个字的解释是非结构化的，如果字典没有音节表和部首检字表，在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理，比如读音，就比较结构化，分声母和韵母，分别只有几种可以一一列举，于是将读音拿出来按一定的顺序排列，每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音，然后按其指向的页数，便可找到我们的非结构化数据——也即对字的解释。

这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。

存储

（1）将非结构化数据以文件的方式存储在文件系统中，同时将指向文件的链接或路径存储在数据库表中。这种方式数据读写的速度较快，但数据管理不方便，并需要额外考虑事务处理的一致性和数据的安全性。
（2）将非结构化数据存储在传统的数据库表的大对象字段中。这种方式充分利用数据库的事务、管理和安全特性，但在数据查询和读写的性能不高。

为解决上面两种方式的缺点，利用其所长，最新的非结构化数据存储技术在磁盘格式、网络协议、空间管理、重做和撤销格式、缓冲区缓存以及智能的I/O子系统等方面发生重大转变，在保证了文件数据的性能的同时，还保留了数据库的优势。较有代表性的就是Oracle SecureFiles非结构化数据存储方式。

参考原文链接：
https://blog.csdn.net/weixin_44221452/article/details/115490473
https://blog.csdn.net/weixin_52189060/article/details/115489159