海量图像数据论文：基于Hadoop的海量图象数据管理

海量图像数据论文：基于Hadoop的海量图象数据管理

【中文摘要】近十年来,随着科技的进步,计算机的应用越来越广泛,这其中,互联网的应用与发展尤其迅速。随着数据来源不断增加,数据量快速增长,互联网上的数据已经达到PB级别,例如阿里巴巴、易趣网交易数据、频监控系统的实时影像数据、腾讯的即时通讯日志数据等。相对于互联网上的文本数据,图像数据的增长更加迅速,这就对于图像数据的有效管理提出了新的挑战。如何有效地存储并管理这些图像数据就成为了新的研究热点。在这样的背景下,原有的解决办法例如常见的海量图像数据管理系统不能很好的适应现有的应用,因此新的解决方案与管理系统不断被提出。基于海量图像数据管理的新难题和新的解决方案不断被提出的背景,本文在分析了海量图像数据的产生与应用的具体背景之后,根据Hadoop系统在存储和管理网页数据与日志数据等的成功,研究了基于Hadoop系统的大规模海量图像数据管理问题。Hadoop是依照Google的GFS分布式文件系统与MapReduce并行编程框架的开源实现,主要用于Web数据的管理和挖掘,在存储与管理图像数据方面存在不足。本文首先扩展了Hadoop的相应功能模块,设计和开发了一个基于Hadoop的海量图像数据管理系统,包含数据的导入、数据...

【英文摘要】Over the past decade, with the development of science and technology, extensive use of computers, especially the rapid development of the Internet, the sources of data increase constantly and the amount of data grows rapidly, the data has reached the PB level, such as the transaction data of Alibaba and eBay, the real-time image data of monitoring systems, the log data of Tecent and so on. Compared to text data on the Internet, the images data increase more rapidly, which are the new challenges towards to t...

【关键词】海量图像数据 Hadoop 并行算法 MapReduce

【英文关键词】Hadoop Massive image data Distributed MapReduce

【目录】基于Hadoop的海量图象数据管理

论文摘要

1 第1章绪论

1.1 引言

1.1.1 研究背景与意义

1.1.2 海量图像数据国内外研究现状

1.2 主要研究内容

1.3 论文结构

2 第2章相关工作

2.1 Hadoop框架分析

2.1.1 HDFS

2.1.2 MapReduce

2.2 Key/Value模型及其与关系数据库的区别

2.3 MapReduce与关系数据库的比较

2.4 MapReduce与网格计算的比较

3 第3章海量图像数据管理系统设计

3.1 海量图像数据管理原型系统的设计要求

3.2 海量图像数据管理原型系统体系结构设计

3.3 Hadoop系统改进

3.3.1 输入文件格式扩展

3.3.2 输出过程扩展

3.4 功能模块划分

3.4.1 海量图像数据导入模块

3.4.2 数据服务模块

3.4.2.1 基于MapReduce的K-Means聚类

3.4.2.2 基于MapReduce的ISODATA聚类

3.4.2.3 基于MapReduce的Sobel边缘检测

3.4.2.4 基于MapReduce的缩略图生成

3.4.2.5 基于MapReduce的并行直方图提取

3.4.3 数据请求模块

4 第4章海量图像数据管理原型系统的实现

4.1 实现环境与数据

4.2 海量图像数据导入模块实现

4.3 海量图像数据服务模块实现

4.3.1 基于MapReduce的K-Means聚类实现

4.3.2 基于MapReduce的ISODATA聚类实现

4.3.3 基于MapReduce的Sobel边缘检测实现

4.3.4 基于MapReduce的并行直方图提取实现

4.4 海量图像数据请求模块实现

4.5 实现结果分析

5 第5章总结与展望

5.1 总结

5.2 展望

硕士在读期间发表的论文

参考文献

附录

致谢