自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Ubuntu配置SSH免登录

概述 在Ubuntu中搭建Hadoop环境时,需要配置SSH免登录,否则启动hadoop会报错: tancan@ubuntu:~$ start-dfs.sh Starting namenodes on [ubuntu] ubuntu: Permission denied (publicke...

2018-07-08 23:49:57

阅读数 199

评论数 0

原创 Hadoop学习-编程实现单词计数

概述 本问讲述在win10下,使用eclipse开发hadoop程序。 创建工程 创建map/reduce工程wordcount 过程略。 新建测试类MyWordCount package hdp.test; import java.io.IOException;...

2018-07-08 22:18:39

阅读数 1028

评论数 0

原创 编译hadoop源码

一、版本选择 之前编译过最新版本3.0.3,不是很顺利。 这次选择2.7.6。 下载源码: http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7.6-src.tar.gz 二、编译...

2018-07-08 16:18:41

阅读数 90

评论数 0

原创 Ubuntu多个JDK版本配置和切换

概述 一般Ubuntu16会自带open jdk8,而我们需要的是sun JDK,于是就需要重新安装sun JDK,并将系统默认JDK切换为sun JDK。 下载JDK 下载地址: 安装JDK 将JDK安装包解压到指定目录/usr/soft/: tancan@maste...

2018-07-08 15:32:28

阅读数 3041

评论数 0

原创 Hadoop学习-编程实现DFS文件操作

一、DFS DFS是一个分布式文件存储系统。 二、DFS常用操作命令 创建目录 hadoop dfs -mkdir /home 上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ / 查看目录 hadoo...

2018-07-07 21:37:00

阅读数 191

评论数 0

原创 Windows10下搭建Hadoop2.7.6的Eclipse开发环境

一、安装hadoop环境 参考: https://blog.csdn.net/goodmentc/article/details/80946431 二、安装eclipse 2.1 下载eclipse 下载地址:https://www.eclipse.org/downloads/ 点...

2018-07-07 19:59:01

阅读数 2230

评论数 2

原创 Windows下搭建本地hadoop环境

一、安装JDK 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 我的电脑是64位win10,下载了jdk-8u45-windows-x64.exe ...

2018-07-06 21:24:18

阅读数 2295

评论数 0

原创 在ubuntu中搭建Hadoop eclipse开发环境

搭建开发环境 本文讲述在linux下搭建Hadoop开发环境。 步骤: 1、安装vmware虚拟机12 2、安装ubuntu16 3、安装eclipse: http://eclipse.org/downloads/ 下载下来的一般是tar.gz文件,先解压: tc@ubuntu:/m...

2018-07-05 23:29:35

阅读数 68

评论数 0

转载 零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? Hadoop介绍 hadoop是一个Java框架,同时...

2018-07-05 22:47:08

阅读数 48

评论数 0

提示
确定要删除当前文章?
取消 删除