hadoop
你不知道你所以是你
在路上,永远年轻,永远热泪盈眶
展开
-
hadoop学习笔记HDFS(一)之HDFS常用命令行命令
官网地址https://hadoop.apache.org/docs/stable/ 两张截图: 抄写一句话: The File System (FS) shell includes various shell-like commands that directly interact with the Hadoop Distributed File System (HDFS) as ...原创 2019-09-21 08:24:51 · 376 阅读 · 0 评论 -
hadoop学习笔记HDFS(二)之HDFSApi
1 基本环境: 1.1 操作系统 win10 1.2开发工具:IDEA 1.3jar包版本 2.6.0-cdh5.15.1 2 开发前配置 2.1 配置haoop本地环境 2.1.1 下载hadoop对应版本的bin,我这里使用的是hadoop2.7.6版本;使用一切正常。 可以到这里下载:https://pan.baidu.com/s/1d5fDT6IdjAuKI4ZxbX8x...原创 2019-09-22 10:40:05 · 246 阅读 · 0 评论 -
hadoop学习笔记MapReduce
关于MapReduce的java代码开发,模式比较固定;基本分为三个部分,Mapper、Reducer以及主入口配置;已经典的词频统计案例来说步骤如下 1 Mapper代码: package com.hadoop.mr.wc; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable;...原创 2019-09-26 07:06:28 · 149 阅读 · 0 评论