本来是研究搜索引擎的,结果又发现了大数据,Hadoop.
可以这么简单地来理解吧,在电脑上分布着很多的文件,数据,不同格式,不像传统的数据库中结构化的格式,行列清晰,但是在磁盘存储上,最大的优势就是价格低廉,而且定位可以根据文件的路径来定位,这个也是可以理解的。为了对所需要的文件进行编程,未来获取自己所需要的数据,所以要进行加工。Hadoop就是这样的几个框架,让整个文件体系变得可编程化。
通过HDFS分布式的文件系统,将所有需要的文件管理起来,Map/Reduce的编程方式,操作所要的数据。
现在还在初期阶段,有个大概的概念,具体环境和编程方法还需要在搭建中~后面有心得还会持续分享~~~~
技术之路漫漫长,因Bug而生,因Bug而进度,能好好地钻进去才算是自己真正进去和成长了~~