changhenshui1990的博客

这周在做hadoop集群时，因为是在虚拟机上建立的ubuntu系统，在建立多个节点时，可以克隆已经装配好的Maste，下面就是如何克隆复制的步骤：同一virtrul box下 虚拟机复制1.找到已经转配好的虚拟机的位置2.新建一个linux系统并命名3.正常安装，设置内存大小4.在这一步选择，第一步复制的文件路径

在这里额外讲一下 PATH 这个环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若没有匹配的则提示该命令不存在）。上面的教程中，我们都是先进入到 /

（伪分布式不启动 YARN 也可以，一般不会影响程序执行）有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。YARN 是从 MapReduc

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoopShell 命令接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/et

1.进入 sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh+:export JAVA_HOME=/usr/local/java/jdk1.8.0_912.打开core-site.xml文件; sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml+:

查看日志如下：　　2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassigned) service to localhost/127.0.0.1:9

NUM 1:ubuntu 准备工作一：首先正常安装ubuntu16.04请看我的这篇文章http://blog.csdn.net/changhenshui1990/article/details/72865425二：创建hadoop用户1.创建可以登录的hadoop用户sudo useradd  -m hadoop -s /bin/bash2.设置密码为ha

零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下，给大家参考，欢迎讨论，共同学习。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop,没有太大的困难。 首先整体说一下学习过程给大家借鉴：首先查阅了资料，

对于我们新手入门学习hadoop大数据存储的朋友来说，首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的：              云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法

云计算技术：这里只是列出我所知道的，希望大家对云计算技术有所了解：一首先让大家明白什么是云端，所谓云端需要两层理解（1）服务不在本地，这一层可以理解为服务器（2）它和普通的服务器是不一样的，这些云端的服务器的资源是共享的，一旦一个服务器不能承受，将会把任务分配给其他机器。二、云技术与其他技术的区别：云技术可以使用的语言有java,c++等。云技术的开发，并没有发展什

简介大家知道什么叫做云计算吗？事实上，目前并没有一个确定的定义。然而概括来讲，所谓的云计算，指的就是把你的软件和服务统一部署在数据中心，统一管理，从而实现高伸缩性。云计算拥有以下特点：·         虚拟化和自动化·         服务器，存储介质，网络等资源都可以随时替换·         所有的资源都由云端统一管理·         高度的伸缩性以满足业务需求

这篇文章主要是根据：http://www.powerxing.com/install-hadoop-cluster/ 的基础上安装的，在此过程中遇到一些问题，自己一点点琢磨解决一：准备工作Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境在 Master

ubuntu使用vim编辑器保存时，出现了错误，虽然知道基本的保存方法，但是还不够，出现各种错误。基本的保存命令：写入文件后退出保存：wq后，保存时出现错误E45：已设定选项“readonly”（请加！强制执行）换：wq!保存，出现错误E212：无法打开并写入文件查找资料换：w!sudo tee %保存，出现错误E172只允许一个文件

在服务器添加完公钥之后，ssh服务器然后报了这个错误sign_and_send_pubkey: signing failed: agent refused operation然后执行了以下命令才好。。eval "$(ssh-agent -s)"ssh-add

上文完成了对使用Oracle VM VirtualBox复制一台虚拟机；在同一电脑上使用Oracle VM VirtualBox复制一台虚拟机，必须更改虚拟机UUID1.开始运行cmd.2.在cmd下输入命令 cd C:\Program Files\oracle\VirtualBox\  也就是进入

一.首先完成就jdk的安装，之前我已经安装好，这里不再描述二..安装eclipse1.下载eclispe2.sudo tar zxvf eclipse-jee-mars-1-linux-gtk-x86_64.tar.gz -C /usr/local/eclipse解压并移动到指定文件夹3.创建eclipse桌面快捷方式图标cd 桌面sudo touch eclips