一.环境安装与配置
-
安装VM虚拟机
-
在VM虚拟机里安装Ubuntu server版本,本教程使用ubuntu 18.10 server
-
启用root用户
装完Ubuntu后进入,用新用户登录,并执行命令
sudo passwd root
设置root用户密码.
执行logout
注销当前用户,用root账户登录 -
关闭防火墙
ufw diable
-
卸载iptables组件
apt-get remove iptables
-
下载安装VIM
apt-get install vim
二.SSH连接配置
Linux远程连接需求:
1.Linux有ssh服务
2.需要使用SSH客户端工具
-
安装SSH工具
apt-get install openssh-server
-
启动SSH服务
/etc/init.d/ssh /start
注意:查看进程是否启动指定服务ps -e | grep sshd
-
设置允许root登录
vim /etc/ssh/sshd_config
找到PermitRootLogin 将其值设为yes
PermitRootLogin yes
执行sudo service ssh restart
重启服务 -
使用SSH连接工具连接
ifconfig
查看当前IP
使用SecureCRT或Putty连接
三.配置FTP服务(可选)
-
安装vsftpd服务组件
apt-get install vsftpd
-
修改ftp用户的密码
上述安装完成后,最自动为系统创建一个叫ftp的用户
passwd ftp
-
设置ftp目录的权限
vsftpd安装完成后,会自动创建一个/srv/ftp的目录
cd /srv/ftp
chmod 777 /srv/ftp
-
修改配置文件
vim /etc/vsftpd.conf
+ 设置允许写的权限
write_enable=YES
+ 设置不允许匿名登录
anonymous_enable=NO
+ 允许本地用户登录
local_enable=YES
+ 是否将所有用户的限制在主目录
chroot_local_user=YES
+ 是否启动限制用户名单
chroot_list_enable=YES
+ 定义名单设置的目录(方便管理大的账号列表)
chroot_list_file=/etc/vsftpd.chroot_list
+ 增加服务配置
pam_service_name=vsftpd -
新建vsftpd.chroot_list文件
vim /etc/vsftpd.chroot_list
在文件里写入访问的用户名ftp,保存退出 -
修改/etc/pam.d/vsftpd
vim /etc/pam.d/vsftpd
注释掉最后一行
# auth required pam_shells.so
-
启动vsftpd服务
service vsftpd start
注意:重启service vsftpd restart
-
客户端连接
推荐FileZilla
IP地址:ifconfig查看
账号:ftp
密码是之前设置的
端口:21
四.JDK的安装与配置(Hadoop本质是Java程序)
-
下载JDK (下载for linux的.tar.gz)
1)在官网下载,使用FTP上传
2)使用wget下载 -
解压缩JDK
tar xzvf jdk-name-***.tar.gz -C /usr/local
解压至-C后面的目录 -
文件夹改名(可选)
进入解压后的目录
cd /usr/local
将文件名改短
mv jdk***/ jdk
-
配置环境文件
vim /etc/profile
打开后进入最下面配置
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin:
export CLASS_PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
-
使配置立即生效
source /etc/profile
-
测试JDK
执行java
或javac
看是否出错
五.安装Hadoop
-
下载Hadoop并用FTP上传
在www.apache.org找到Hadoop下载
-
解压Hadoop
tar xzvf hadoop***.tar.gz -C /usr/local
-
重命名(可选)
进入解压后的目录
cd /usr/local
将文件名改短
mv hadoop***/ hadoop
-
配置环境文件
vim /etc/profile
打开后进入最下面配置
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin:
-
使配置立即生效
source /etc/profile
-
在hadoop的资源文件定义要使用的jdk
路径 /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改下面的内容
export JAVA_HOME=/usr/local/jdk -
使用测试程序测序hadoop环境
使用wordcount测试
在Hadoop目录下创建一个文件夹
mkdir input
编写一个文件
echo hello,world nice to meet you > input/info.txt
执行wordcount统计单词数
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount input/info.txt ouput/
注意:输出文件夹output必须不存在(rm output/ -r
可删除)
配置SSH免密登录
密钥对分为公钥和私钥,其中公钥放在服务器,私钥放在要通过SSH连接服务器的本机.
公钥相当于锁,私钥相当于钥匙.
-
生成密钥对
ssh-keygen
选择生成的密钥对储存的位置,默认(/root/.ssh/id_rsa)即可
选择是否对公钥对进行加密,若不加密,直接回车 -
安放公钥和私钥
id_rsa -私钥
id_rsa.pub -公钥 -
导入公钥
将生成的公钥导入到ssh的配置文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
-
开启SSH登录
打开ssh配置文件
vim /etc/ssh/sshd_config
PubkeyAuthentication
默认注释,将no改为yes,取消注释即可开启ssh登录 -
关闭密码登录
上述配置文件中
PasswordAuthentication
默认注释将yes改为no即可关闭密码登陆