hadoop2.x学习
rickiyang
这个作者很懒,什么都没留下…
展开
-
hadoop学习(一)----概念和整体架构
程序员就得不停地学习啊,故步自封不能满足公司的业务发展啊!所以我们要有搞事情的精神。都说现在是大数据的时代,可以我们这些码农还在java的业务世界里面转悠呢。好不容易碰到一个可能会用到大数据技术的场景时可惜你又没这个技术把这一票接下来!书到用时方恨少。所以我们也要与时代同进步,搞搞大数据。分布式的基础架构现在有hadoop和spark。虽然spark目前比较火,但是国内大厂因为最开始学习大数据的先锋原创 2017-11-27 10:52:20 · 1073 阅读 · 0 评论 -
hadoop学习(二)----HDFS简介及原理
前面简单介绍了hadoop生态圈,大致了解hadoop是什么、能做什么。带着这些目的我们深入的去学习他。今天一起看一下hadoop的基石—-文件存储。因为hadoop是运行与集群之上,处于分布式环境之中,所以他的文件存储也不同与普通的本地存储,而是分布式存储系统,HDFS(The Hadoop Distributed File System)。因为数据量越来越大,一台机器管理的磁盘数量是有限的,所有原创 2017-11-27 11:06:51 · 536 阅读 · 0 评论 -
hadoop学习(三)----hadoop2.x完全分布式环境搭建
今天我们来完成hadoop2.x的完全分布式环境搭建,话说学习本来是一件很快乐的事情,可是一到了搭环境就怎么都让人快乐不起来啊,搭环境的时间比学习的时间还多。都是泪。话不多说,走起。1 准备工作开工之前先说一下我们的机器环境: 一共是4台主机,主机1,2,3都是从master克隆过来的:原创 2017-12-16 17:24:03 · 1245 阅读 · 0 评论 -
hadoop学习(四)----windows环境下安装hadoop
因为我们不能在线上环境进行调试hadoop,这样就只能在本地先调试好了再放到线上去啦。我本地是windows环境,今天先记下windows下搭建hadoop2.7的步骤。1 本地环境windows7 64位hadoop-2.7.3.tar.gzhadoop在apache下载,看别的教程都说是需要搭建Cygwin,但是后来在国外论坛上看到已经有大神给出了windows下搭建hadoop环境的依赖原创 2017-12-16 17:29:08 · 3521 阅读 · 0 评论 -
hadoop学习(五)----HDFS的java操作
前面我们基本学习了HDFS的原理,hadoop环境的搭建,下面开始正式的实践,语言以java为主。这一节来看一下HDFS的java操作。1 环境准备上一篇说了windows下搭建hadoop环境,开始之前先启动hadoop。我本地的编译器是idea。原创 2017-12-16 17:32:34 · 482 阅读 · 0 评论 -
hadoop学习(六)----HDFS的shell操作
HDFS所有命令:[uploaduser@rickiyang ~]$ hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...]原创 2017-11-30 16:40:24 · 300 阅读 · 0 评论 -
hadoop学习(七)----mapReduce原理以及操作过程
前面我们使用HDFS进行了相关的操作,也了解了HDFS的原理和机制,有了分布式文件系统我们如何去处理文件呢,这就的提到hadoop的第二个组成部分-MapReduce。MapReduce充分借鉴了分而治之的思想,将一个数据的处理过程分为Map(映射)和Reduce(处理)两步。那么用户只需要将数据以需要的格式交给reduce函数处理就能轻松实现分布式的计算,很多的工作都由mapReduce框架为我们原创 2017-12-17 23:30:17 · 955 阅读 · 0 评论