Hadoop
不二雄
一个正在奋斗的成为工程师的码农
展开
-
Hadoop单机模式配置和官方案例
Hadoop单机模式1.环境准备0.安装jdk(自行安装)1.配置hadoop环境变量2.修改hadoop-env.sh2.运行官方提供的简单案例1.grep案例2.wordcount案例Hadoop单机模式1.环境准备0.安装jdk(自行安装)1.配置hadoop环境变量下载hadoop的Linux的安装包,并解压复制h...原创 2018-04-07 23:03:17 · 977 阅读 · 0 评论 -
Hadoop集群时间同步
Hadoop集群时间同步1.时间同步源配置(必须为root用户)检查是否安装ntp服务 命令# rpm -qa |grep ntp如果有以下三个软件就不需要安装,否则自行安装fontpackages-filesystem-1.41-1.1.el6.noarchntp-4.2.6p5-10.el6.centos.x86_64ntpdate-4.2.6p5-...原创 2018-04-10 10:16:17 · 975 阅读 · 0 评论 -
【HDFS】一、HDFS概述
一、HDFS概述1.1HDFS产生背景随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2HDFS的概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由...原创 2018-04-10 21:16:10 · 390 阅读 · 0 评论 -
【HDFS】二、HDFS命令行操作
二、HDFS命令行操作基本命令bin/hadoop fs 具体命令参数大全[daxiong@hadoop hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] ...原创 2018-04-10 21:17:46 · 772 阅读 · 0 评论 -
Hadoop官方案例WordCount简单实现
Hadoop官方案例WordCount简单实现前提准备创建maven工程,导入依赖,注意版本修改与集群的版本一致<dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId...原创 2018-04-16 23:10:49 · 1195 阅读 · 1 评论