海绵猿宝的博客

《大数据存储与处理项目实践》

1 介绍 大数据4V 特征 1V 大量化，体现为数据量大 2V 多样化，主要是结构化和非结构化的数据 3V 处理速度快 数据采集和数据处理速度效率快 4V 价值密度低 主要是有效数据和无用数据的占比 大数据技术的两个核心技术 分布式存储 hdfs 分布式计算 spark Yarn实现了一个集群多个框架 Spark框架 跟hadoop框架对比，hadoop存在两个明显缺点，一个是磁盘IO（磁盘读写）开销大，一个延迟性高 Spark优点（相比较于hadoop）： 1 继承了hadoop的大部分优点，解决了

1.虚拟机克隆 开学伊始，学习大数据hadoop，放假快结束的时候提前学习一下hadoop，就去B站大学找了一下尚硅谷教程，照着大海老师一步一步走，然后第一天学到克隆虚拟机的时候还是一切正常，次日重启克隆的102 103 104 虚拟机，都是处于ping 不通的状态，设置的ip地址也没有启用。 中间百度 CSDN 博客园 贴吧 各种QQ群请教，但都没遇到类似情况，前后卡了4天，逐渐想要奔溃放弃，但是在今天2021/3/10，早上抱着瞎搜索一下试试看的心态，看了下面这两个博文 第一篇在博主第二大点–第三小点修