hadoop
文章平均质量分 79
zfszhangyuan
目前专注于大数据领域,希望能安身立命!
展开
-
hadoop的发展和介绍
今天整好有这个时间,我就整理整理一下hadoop相关的资料,想初步简略的谈一下hadoop的发展史和应用情况。说到hadoop不得不说一下大数据。什么是大数据?网上搜了一圈基本都是说数据量大,有价值的数据就叫大数据,这么说也不错,但是很抽象,很笼统,我总结了一下大数据最起码具备四个方面的特征:第一:体量大(volume)数据规模庞大,传统的数据库无法存储和计算,而且直接原因是非结构化的数据的超大规模增长。第二:多样性(variety) 大数据的异构性和多样性,庞大体量的数据他们的存在是不同形式的(原创 2016-09-12 14:04:33 · 3809 阅读 · 0 评论 -
hadoop之mapreduce编程实例(系统日志初步清洗过滤处理)
刚刚开始接触hadoop的时候,总觉得必须要先安装hadoop集群才能开始学习MR编程,其实并不用这样,当然如果你有条件有机器那最好是自己安装配置一个hadoop集群,这样你会更容易理解其工作原理。我们今天就是要给大家演示如何不用安装hadoop直接调试编程MapReduce函数。原创 2016-09-13 15:41:22 · 10880 阅读 · 3 评论