1、Spark Streaming实时流处理项目---项目介绍

一、开发环境

二、OOTB环境使用样式

       虚拟机  VMware Fusion

                   Mac 上搭建：4台虚拟机

                   Hadoop环境：虚拟机，是远程登录

        root用户的密码是什么？

        修改配置文件，是需要root权限的，怎么办？

        命令：sudo command

三、修改host地址

        目前Mac 虚拟机存在一个问题，就是在互联网情况下，这个地址不会随着ip的改变而动态变化，需要手动去修改，之后有解决方案会及时跟大家分享。

        查看hosts命令：cat   /etc/hosts

        修改hosts命令：vim  /etc/hosts

四、远程登录虚拟机

        命令：ssh root@192.168.99.120     登录密码 root

        目录：在Hadoop用户的根目录上创建目录

                   app               软件的安装目录

                   data              存放测试数据

                   lib                  存放开发的jar

                   software        存放软件安装包

                   source           存放源码

四、Hadoop生态系统

       版本：cdh5.7.0

       

       jdk：1.8

       spark：2.2

       scala：2.11.8