大数据Hadoop的学习笔记--1
认识一下Hadoop
1.单机处理大数据存在问题.具体啥问题?
假设,我现在有个很大很大的一个文本文件,存放了各种的老师名字以及相关作品名及作品简介,那里面的文件行数多得数不清,突然我突发奇想,想找一下这个文件中"结衣"某个作品的某个简介看一下,但是因为数据量太大, 小日子过得不错的岛国人拍得比较多,所以文件量很大很大,让张三去找,他找着找着就崩溃了,太多了,速度简直慢得可怜.
然后我知道了这个岛国的演艺界就那么多人,滴滴叭叭全部加起来放在一个文件夹中假设就1T,张三的查找速度(IO速度)就500M/s,
原创
2021-08-30 21:33:35 ·
88 阅读 ·
0 评论