当然说起大数据当然不得不提起hadoop,还好大学的东西没全还给老师。那就开始第一步开始搭建hadoop的环境吧。我只想说新的虚机安装hadoop还是有很多坑的。。。
一、安装包准备
VM虚拟机、centOS7系统安装包, jdk1.8,hadoop2.8.2(我没用最新的,不知道安装的时候会出现什么幺蛾子。。。)
下载地址
hadoop:http://download.csdn.net/download/b379685397/10145213
http://mirror.bit.edu.cn/apache/hadoop/common/
jdk8 : http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
二、windows安装VM虚拟机
Windows下面安装虚拟机并且安装好centOS7系统。这些没什么好说的。
但是这里会有个问题,就是虚机系统安装好之后会连不上网络。这个时候我们需要配置一下网络。
1、首先打开虚机编辑-》虚拟网络编辑器
2、然后点击更改设置使用管理员权限
之后变成下图
3、选择VMent0位桥接模式
选择VMent8设置为nat模式。
之后点击确定保存。
4、进入虚机系统执行命令cd /etc/sysconfig/network-scripts/
查看该目录下是否存在ifcfg-enoXXX的文件,使用vi编辑(刚安装的虚机只有vi),按照下图进行修改。之后按esc 然后wq!保存退出。
在执行service network restart命令重启网络服务。
之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。(在现在这家公司已经练就了一身运维的功夫,真心感觉linux是好用啊)
三、安装jdk
1、Jdk安装很简单,将安装包放到指定目录解压。我是安装在/usr/etc/目录下面
2、设置环境变量,vim /etc/profile
在最后添加下面几行,根据java的安装目录。
JAVA_HOME=/usr/etc/jdk1.8.0_151
CLASSPATH=$JAVA_HOME/lib/
PATH= P A T H : PATH: PATH:JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
3、验证环境变量,输入java -version ,如果出现以下内容说明安装成功
四、设置ssh免密登录
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
1. cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
2. ssh-keygen -t rsa # 会有提示,都按回车就可以
3. cat ./id_rsa.pub >> ./authorized_keys # 加入授权
Shell 命令
~的含义
在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释。
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了。
五、安装hadoop
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)
最后
针对最近很多人都在面试,我这边也整理了相当多的面试专题资料,也有其他大厂的面经。希望可以帮助到大家。
下面的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题(都整理成文档,小部分截图)
最新整理电子书
最后
针对最近很多人都在面试,我这边也整理了相当多的面试专题资料,也有其他大厂的面经。希望可以帮助到大家。
下面的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题(都整理成文档,小部分截图)
[外链图片转存中…(img-CV1lBpwe-1710694997829)]
最新整理电子书
[外链图片转存中…(img-xv5w0QXk-1710694997830)]