大数据入门

 

 

 

推荐系统项目架构----以及数据流程：

 

 

linux 主机集群的搭建------通过VMware虚拟机进行对其中的一台主机进行克隆，然后在分别修改每台机器的静态IP

  进入这个位置进行修改IP地址，进入之后：

1，使用  dd 操作删除eth0所在的配置行

2.使用   ctr l + $  定位到文本的最后一行，并修改成eth0，同时复制   ATTR(address)  后面的 mac 地址

 

对机器进行网络的配置：

  vim   /etc / sysconfig / network - script / ifcfg - eth0

修改其中的  硬件地址 跟我们设置的 IP地址ude

 

 

 

修改主机名称：

：q

查看主机名映射是否配置好：

vimsys=

 

创建一个具有  root  权限的用户名：

 

进行环境变量的设置：

#####JAVA_HOMT

export  JAVA_HOME=/opt/module/jdk1.8.0_144

export  PATH=$PATH:$JAVA_HOME/bin

再执行  source    /etc/profile   使用配置文件

 

================================================================================================

开始配置：

               配置输入环境，将    etc /   下面的配置文件复制到 新穿件的  input  目录下面

执行案例：(grep案例)

其中output必须为空

 

 

 

伪分布式模式：

 

   etc/hadoop/hadoop-enc.sh   中进行如下配置：

 

 

 

完全分布式：

 

踩坑：（分布式集群搭建成功之后----使用  start-dfs.sh------再使用jps查看不到namenode的启动------一定要在启动集群的时候使用hadoop  namenode   format   对集群进行格式化）