大数据实验随记

BUPT果园大数据技术与运用课程随记

课程通过华为云linux服务器搭建大数据环境，完成课程中的实验

实验大体根据实验指导可完成，本文记载一些细枝末节以供debug参考

常用linux操作:

vim的使用小技巧: 比如 q!不保存退出 wq保存退出  g 全局查询/替换 gg=G缩进等 

常用的进程操作: ctrl+c ctrl+z jobs kill grep netstat bg fg 等用于查询进程或端口状态，是否成功运行、或是将进程前后台放置以节省等待时间等

常用的服务器操作: scp 正则表达 wget 等可以有效节省键鼠操作下载、copy、移动文件的时间

实验一、华为云服务器hadoop部署

linux环境变量配置：

查看变量路径使用 '$'+'变量名' 查看

1.etc/profile中配置，系统变量，多用户共用，重启shell后续执行source命令才生效

2.etc/.bashrc中配置，用户级环境变量，永久生效

3.etc/environment中配置,用户级变量，永久生效（似乎执行时间晚于.bashrc文件，可覆盖.bashrc文件路径）

云服务器相关：

任何从主机访问都是外网访问，需要开放对应端口相关权限

如50070端口调试、50075端口下载文件、8020端口通讯等

hadoop配置文件：

相关信息：

1.datanode数据节点存储数据，nodemanager管理datanode，与所管