hadoop
诛仙89
11111
展开
-
一、Hadoop 安装
hadoop version 2.7.2 java version jdk1.8 一、下载和配置环境变量 官网下载地址,hadoop是基于java的,所以需要安装JDK。 1.1、配置环境变量 下载后直接tar到一个文件中比如我的/opt/hadoop export HADOOP_HOME=/opt/hadoop/hadoop-current export PATH=$PATH:$HADOOP...原创 2019-08-30 21:53:57 · 77 阅读 · 0 评论 -
二、HDFS常见操作
一、hdfs ui界面 默认端口是50070 点击Utilities—>Browse the file system 二、常用命令 大部分是和linux非常相似 2.1 mkdir hdfs dfs -mkdir -p /apps/xxx/document/ 2.2 put 存放/更新文件 //hdfs dfs -put -f 如果存在文件强制重写 hdfs dfs -put noh...翻译 2019-09-01 21:05:20 · 120 阅读 · 0 评论 -
三、Hadoop常用配置
一、更改本地目录 <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop-${user.name}</value> <description>A base for other temporary directories.</description&g...原创 2019-09-01 21:08:35 · 152 阅读 · 0 评论 -
四、java api操作HDFS
hadoop版本2.7.2 ,安装在linux上 运行环境idea+window10 一、代码示例 maven配置 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> ...翻译 2019-09-02 14:53:36 · 112 阅读 · 0 评论 -
五、第一个Map Reduce例子
hadoop version 2.7.2(linux 完全集群模式) jdk 1.8 maven 3.3.9 运行在win10 该例子来源于网络,需求:统计字母出现的次数 文本文件类似这样: a b c d 字母之间有一个空格 <properties> <hadoop.version>2.7.2</hadoop.version> ...原创 2019-09-02 22:43:42 · 103 阅读 · 0 评论