Hadoop hdfs

大数据的低价值密度性是指在海量的数据源中，真正有价值的数据少之又少，许多数据可能是错误的，是不完整的，是无法利用的。总体而言，有价值的数据占据数据总量的密度极低，提炼数据好比浪里淘沙。

5.商业价值高

相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果，实现其商业价值。

二、结构化数据，非结构化并举例

结构化数据，简单来说就是数据库，也可称作行数据，它是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。因此，有时也把所有数据都具有相同的字段或属性的结构化数据称为关系数据。

实际上，在日常工作生活中，我们也是能常常见到结构化数据，典型的结构化数据包括：信用卡号码、日期、财务金额、电话号码、地址、产品名称等。再如，企业的ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。

三、Hadoop生态圈

四、Hadoop hdfs架构

五、hdsf读的流程

1. client访问NameNode，查询元数据信息，获得这个文件的数据块位置列表，返回输入流对象。
2. 就近挑选一台datanode服务器，请求建立输入流 。
3. DataNode向输入流中中写数据，以packet为单位来校验。
4. 关闭输入流

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**