读书无论资性高低,但能勤学好问,凡事思一个所以然,自有义理贯通之日
立身不嫌家世贫贱,但能忠厚老成,所行无一毫苟且处,便为乡党仰望之人
注意事项
- 本分布式集群包含3台虚拟机,操作系统均为Linux
- 本次使用的统计文本大小为4.32MB
- 若使用单台虚拟机,即伪分布式集群,或者分布式集群运算能力较弱,可以使用该4.32MB的文本
- 若想尝试大数据量运算,可将该文本进行自我复制到1GB大小,并以此产生多个副本
- 本分布式集群HDFS架构如下
节点 | 主机名 | NameNode | DataNode | Secondary NameNode | Resource Manager | Node Manager |
---|---|---|---|---|---|---|
主节点 | master | √ | √ | √ | √ | |
从节点 | slave1 | √ | √ | √ | ||
从节点 | slave2 | √ | √ |
准备工作
统计文本
该统计文本大小为4.32MB,也可使用自己生成的统计文本 提取码w3ci
软件
- Xftp (类似的SFTP、FTP文件传输软件均可,如国产的FinalShell)
- Xshell (类似的安全终端模拟软件均可,如SecureCRT)
具体步骤
注意:以下操作均在主节点虚拟机(master)上执行,无需在各虚拟机均执行
使用Xsehll连接虚拟机
- 点击“文件”→“新建”
- 填写“名称”和“主机”,“主机”为IP地址,“名称”尽量填写IP地址,点击“确定”