关注
分享
Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。
赈川
Android Framework工程师
展开
-
3.Hadoop的常用命令，以及文件的上传和下载
常用命令官方文档：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html文件的上传和下载推荐博客：https://blog.csdn.net/fuzhongfaya/article/details/80834396转载 2019-07-30 21:18:49 · 2870 阅读 · 0 评论 -
4.Hadoop分布式文件系统——HDFS
前言以下示例均来自《Hadoop 权威指南》HDFS简介Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HD...原创 2019-08-03 23:59:55 · 334 阅读 · 0 评论 -
5.YARN入门
推荐博客：https://blog.csdn.net/xujieyang4j/article/details/79721016原创 2019-08-04 00:02:27 · 114 阅读 · 0 评论 -
1.Hadoop的安装及常见问题
Windows系统推荐博客：https://blog.csdn.net/wangaz521/article/details/79717177Linux系统推荐博客：https://blog.csdn.net/YBK233/article/details/81478230原创 2019-07-26 22:55:12 · 306 阅读 · 0 评论 -
2.MapReduce的使用——分析气象数据集
简介MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduc...原创 2019-07-28 00:02:24 · 4334 阅读 · 0 评论 -
6.Hadoop的I/O操作
前言该篇博客记录了Hadoop在使用I/O操作时涉及到的相关Java代码，案例均来自于《Hadoop权威指南》通过CompressionCodec对数据流进行压缩import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compre...原创 2019-08-06 21:35:22 · 141 阅读 · 0 评论