- 博客(5)
- 资源 (2)
- 收藏
- 关注
转载 从零开始搭建hadoop分布式集群环境:(五)hadoop完全分布式集群环境配置
hadoop集群安装需要一些准备工作,例如安装Java、ssh、下载hadoop等等,这些在之前的文章里面以及现详细说过了。下面就只剩最后一步,也就是配置hadoop。在这一步的过程中我参考过很多文档,但是大部分文章都写得不是很详细,导致配置完成后出现各种问题,要么是hdfs格式化失败,要么是运行后缺少进程。偶然情况下在about云论坛上看到了pig2写的一系列教程,才真正理解了hadoop集群的
2015-07-24 13:53:57 799
原创 从零开始搭建hadoop分布式集群环境:(四)配置ssh无密码登录
1. 首先看看系统是否安装了ssh,输入ssh localhost 如图提示 ssh:connect to host localhost port 22:Connection refused,则是系统并未安装ssh,那么第一步是安装ssh.安装完成后再尝试连接本地。输入ssh localhost第一次连接的时候会有提示,输入yes就OK,然后在输入密
2015-07-23 10:10:07 754
原创 从零开始搭建hadoop分布式集群环境:(三)更改用户名以及ip地址
更改主机名1:在ubuntu图形界面打开终端,快捷键为Ctrl+Alt+T@前面的是用户名,后面的是主机名字。输入hostname返回的即主机名2:更改主机名输入命令: sudo gedit /etc/hostnamesudo 代表使用root权限操作命令,linux的root权限可以进行一切操作,包括删除任意文件,慎用。
2015-07-23 09:52:40 11829
原创 从零开始搭建hadoop分布式集群环境:(二)安装JDK
首先去官网下载合适版本的JDK,我的系统是64位的,所以我下载的是 一般是把JDK安装在 / 根目录里面,这样每一个帐号都可以使用,只要配置好用户相应的配置文件。 下面新建一个目录来安装JDKsudo mkdir /usr/lib/jvm 我们进入这个目录看看他所属的用户。cd /usr/lib输入ll可以看到这个文件
2015-07-22 09:58:07 4528
原创 从零开始搭建hadoop分布式集群环境:(一)新建hadoop用户以及用户组
搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来言,新建用户用户组,并赋予适当的权限无疑是最大的问题。下面请跟随我来新建用户以及用户组并赋予root权限。 首先新建用户,建议用adduser命令sudo adduser hadoop输入密码后一直按回车即可
2015-07-21 21:13:57 5834
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人