【学习】Hadoop大数据平台架构与实践--基础篇上

最新推荐文章于 2022-09-17 23:37:56 发布

黄黄臭臭

最新推荐文章于 2022-09-17 23:37:56 发布

阅读量1.1k

点赞数 1

分类专栏：学习总结文章标签： hadoop 大数据学习总结

本文链接：https://blog.csdn.net/huanglong8/article/details/62884525

版权

本文是关于Hadoop的基础学习总结，包括初识Hadoop、Hadoop的安装过程。介绍了Hadoop作为分布式存储和计算平台的功能和优势，以及其在大数据应用中的角色。文章提到了Hadoop的起源、特点，以及相关开源工具如HIVE、HBASE和Zookeeper。在安装部分，讲述了在Linux环境下配置Hadoop的步骤，包括安装JDK、配置环境变量等。

摘要由CSDN通过智能技术生成

文章来源于：
http://blog.csdn.net/huanglong8/article/details/62884525

视频教程来自：
http://www.imooc.com/learn/391

算是比较基础入门的hadoop学习，比较适合我，虽然不是干这个的，但经常听到这个大数据，云计算的东西，所以简单也学习一下，学习嘛，就要稍微做下笔记，做做功课，有助于记忆嘛。

1. 初识Hadoop
2. Hadoop的安装
3. Hadoop的核心-HDFS简介
4. Hadoop核心—MapReduce
5. 统计示例WordCount
6. 利用MapReduce进行排序

当然你也可以通过这个总结，大致了解这个视频的讲解内容的大体构成，帮助理解。

1. 初识Hadoop

大数据是什么，大数据应用又是什么？比如，对于某家上市公司，我们可以对它以往的资产迭代进行分析，从而预测出今后公司的一个发展情况。还比如现在动不动就扫二维码，获取个人信息的，可以分析出您个人平时上网的喜好和方向是什么。尤其是百度，腾讯什么的主页，都会给你推荐你感兴趣的广告内容。还有想起我本科毕业论文时，当时研究的CA模拟，其实有一些数学模型也是建立在大数据分析之下的。
大数据应用通俗点讲就是利用大量的数据信息，从中提取你所关心的或分析出潜在信息的一成套系统应用。它可以是软硬件产品，也可以是解决方案报告。

在学习Hadoop前，讲解人建议需要学习下 linux命令基础和java基础哦。

那么课程的组成在这里也阐述了一下，了解–原理–搭建–开发。

hadoop由来
大数据的出现伴随解决问题时考虑到，如何对大数据进行存储与分析？系统的性能？计算效率？都是面临的难题。
那么google提出了三大革命性技术：
MapReduce BigTable GFS
特点：
1. 降低成本，能用PC，不用高端机器。
2. 软件容错，硬件故障常态，保证软件高可靠性。
3. 简化并行分布式计算，不关注节点同步和存储。
但是google只是发表了论文，没开源。。。
然后有一个牛逼的人看了论文，写了hadoop。。。