大数据知识点

VMWare

设置网段

虚拟机设置

JDK部署

云平台

创建VPC

找到阿里云控制台里的VPC，点击专有网络

安全组

搁置…有需要再使用，因为每月要花200左右

大数据

数据导论

介绍

Hadoop

基础架构分析

Hadoop符合主从模式

主从模式

集群部署

下载hadoop二进制安装包

# 在文件内部填入如下内容
<configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>node1,node2,node3</value>
    </property>
# 续接左部
	<property>
	    <name>dfs.blocksize</name>
	    <value>268435456</value>
	</property>
	<property>
	    <name>dfs.namenode.handler.count</name>
	    <value>100</value>
	</property>
	<property>
	    <name>dfs.datanode.data.dir</name>
	    <value>/data/dn</value>
	</property>
</configuration>

HDFS的Shell操作

文件系统操作