hdoop-spark分布式系统实操笔记,对分布式系统和大数据处理有基本的认识:
1. 打开VMware workstation
2. 打开镜像Docker-k8s-Spark-Hadoop-openstack-CentOS7-master
3. 启动虚拟机
1) 如果无法正常启动,比如弹出包含 VT-x的错误的话,重启,进入主板BIOS è virtualization è VT-x设置为enable (默认是disable)
4. 打开终端,查看虚拟机操作里面所安装软件的位置
1) 登录zkpk用户,密码123456
2) 输入:cd (进入了zkpk用户的home目录,/home/zkpk)
3) 所有软件的安装目录,我配置在了环境变量里面,环境变量的文件:/home/zkpk/.bash_profile
4) 输入命令:vim /home/zkpk/.bash_profile
i. 可以查看各个软件的安装目录
5) Java:cd $JAVA_HOME 或者 echo $JAVA_HOME
6) Hadoop (HDFS &Yarn/MapReduce),包含了分布式文件系统和分布式计算框架,安装目录
i. 输入:cd $HADOOP_HOME
ii. 输入:echo $HADOOP_HOME