java程序员的AI之路-大数据篇 hadoop安装

http://mirror.bit.edu.cn/apache/hadoop/common/

jdk8 : http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

二、windows安装VM虚拟机


Windows下面安装虚拟机并且安装好centOS7系统。这些没什么好说的。

但是这里会有个问题,就是虚机系统安装好之后会连不上网络。这个时候我们需要配置一下网络。

1、首先打开虚机编辑-》虚拟网络编辑器

2、然后点击更改设置使用管理员权限

之后变成下图

3、选择VMent0位桥接模式

选择VMent8设置为nat模式。

之后点击确定保存。

4、进入虚机系统执行命令cd /etc/sysconfig/network-scripts/

查看该目录下是否存在ifcfg-enoXXX的文件,使用vi编辑(刚安装的虚机只有vi),按照下图进行修改。之后按esc 然后wq!保存退出。

在执行service network restart命令重启网络服务。

之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。(在现在这家公司已经练就了一身运维的功夫,真心感觉linux是好用啊)

三、安装jdk


1、Jdk安装很简单,将安装包放到指定目录解压。我是安装在/usr/etc/目录下面

2、设置环境变量,vim /etc/profile

在最后添加下面几行,根据java的安装目录。

JAVA_HOME=/usr/etc/jdk1.8.0_151

CLASSPATH=$JAVA_HOME/lib/

PATH= P A T H : PATH: PATH:JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

3、验证环境变量,输入java -version ,如果出现以下内容说明安装成功

四、设置ssh免密登录


集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

1. cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost

2. ssh-keygen -t rsa              # 会有提示,都按回车就可以

3. cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

Shell 命令

~的含义

在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释。

此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了。

五、安装hadoop


其实hadoop的安装还是很简单的,但是中间会出现一些异常的坑。。。

1、首先将安装包放在/usr/etc/下面,解压

2、配置hadoop配置文件

1)配置hadoop-env.sh

该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加JAVA_HOME   java环境变量。

2)配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。

3)配置hdfs-site.xml文件

修改Hadoop中HDFS的配置,配置的备份方式默认为3。

4、最后修改环境变量

执行 vim ~/.bashrc

在文件里新增以下内容。Java环境变量,以及hadoop的安装路径。

这里我在/etc/profile里面也配置过,按理说应该和在~/.bashrc配置效果一样,但是在/etc/profile配置就会出现hadoop读取不到配置的异常。这个待研究。

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

-1714155848234)]

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 16
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值