实训内容简介及虚拟机和服务器

实训内容简介及虚拟机和服务器（宝塔控制加粗样式）搭建Hadoop环境的区别（一）（附教程链接）

本次实训，基于虚拟机（linux服务器）搭建前后端代码的基础上，实现模拟产生数据，并通过工具实现对数据的清洗以及处理。算是大数据的一个入门。

任务流程步骤详解

1. 远程服务器的搭建（虚拟机/服务器）
2. 代理服务器及相关组件的安装：nginx（前端），tomcat（后端），mysql
3. hadoop伪分布式安装
4. flume安装
5. sqoop安装

通过a_b压力测试的方法，模拟产生数据的访问，flume-hdfs.conf会生成一个flumelogs的文件夹，用于在Hadoop上存储日志。滚动日志（rollinglog.conf)实现实时传送log的功能，几个脚本确保flume的正确启动与关闭数据采集，通过log.jar实现数据的拼接与计数（exec_mr.sh)，之后sqoop将采集的数据从hadoop送到mysql，再又echart展示数据

虚拟机安装

(一）
系统选择centos，和云端服务器系统一样，测试虚拟机是否有网

ping www.baidu.com

(二）虚拟机无网时，首先查看网卡配置，一般默认nat来进行实验，依旧无网时，考虑静态ip

	 		a. 现在VM的“编辑”-->"虚拟网路编辑器"菜单中查看VMNet8 网络的网段 主要第3段

            b. cd /etc/sysconfig/network-scripts

            c. vi ifcfg-ens33 输入 i 切换到 编辑模式

            d. 修改以下内
                    BOOTPROTO=static
                    ONBOOT=yes

                    IPADDR=192.168.113.100
                    NETMASK=255.255.255.0
                    GATEWAY=192.168.113.2
                    DNS1=114.114.114.114
                    DNS2=8.8.8.8

            e. ESC 退出编辑模式   :wq保存退出

            f:  重启网络服务
            service network restart     	

java环境安装

（一）
jdk安装，虚拟机服务器相同
a.上传jdk至目录下（配置JAVA_HOME)时需要，注意目录区别
b. 解压

tar -vxzf jdk...

c. 配置环境变量 vi /etc/profile/

export JAVA_HOME = /usr/jdk
export PATH = $JAVA_HOME/bin:$PATH
export CLASSPATH = .:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

(二）tomcat安装（后端代码）
a.在服务器自带的软件中没有，所以需要自己上传安装，上传解压步骤与jdk同
b.启动方式

  cd /usr/apach.../bin/
  ./startup.sh

c.测试方式
宿主机浏览器访问：192.168.xxx.xxx:8080
注：虚拟机和服务器的联网访问都离不开防火墙，根据不同工具，防火墙打开方式不同
虚拟机中：
可以使用以下操作放开8080端口

a.查看防火墙状态： service firewalld status

b.放开指定的端口： firewall-cmd --zone=public --add-port=8080/tcp --permanent

c.查看全部已经开放的端口： firewall-cmd --zone=public --list-ports

d.重载防火墙 firewall-cmd --reload

服务器中：服务器采用图形化界面管理，但是在用宝塔管理的过程中，发现只是用宝塔开端口并不能打开所需端口，所以需要在阿里端控制台也把端口打开（待验证）
（三）mysql安装
宝塔能直接下载mysql，以下是虚拟机安装mysql的基本步骤：

1、安装MySQL YUM源到本地
yum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
2、检查 mysql 源是否安装成功
yum repolist enabled | grep "mysql.*-community.*"
安装成功后会看到如下：
  !mysql-connectors-community/x86_64       MySQL Connectors Community          153
  !mysql-tools-community/x86_64            MySQL Tools Community               110
  !mysql57-community/x86_64                MySQL 5.7 Community Server          424
3、使用 yum install 命令安装
yum -y install mysql-community-server
4、安装完毕后，启动MySQL数据库
systemctl start mysqld
5、查看MySQL的启动状态
systemctl status mysqld
6、设置开机自启动
systemctl enable mysqld
7、重载所有修改过的配置文件
systemctl daemon-reload
8、修改root账户默认密码 mysql 安装完成之后，生成的默认密码在 /var/log/mysqld.log 文件中。使用 grep 命令找到日志中的密码。 执行：
grep 'temporary password' /var/log/mysqld.log
比如：
A temporary password is generated for 	root@localhost: WMYu.#o8o#30
9、修改密码
    1)先使用随机生成的密码登陆
	mysql -uroot -p 回车
   输入上一步最后冒号后面全部的字符（也就是随机的密码）
    2）然后输入以下命令，修改新的密码，By 后面 单引号中为自己的新的密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'Sjm@!_123456';

服务器中，需要登陆mysql以执行权限修改的命令（数据库默认只允许本地登录，需要修改权限允许其他用户远程登陆，虚拟机同
登陆命令

mysql -uroot -p

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Sjm@!_123456' WITH GRANT OPTION;   
flush privileges; 

（四）nginx安装（用于放前端代码，图片代理）
虚拟机参考：https://blog.csdn.net/tjpuliang/article/details/118575604?spm=1001.2014.3001.5501
服务器：服务器自带nginx，所以在配置时，需要注意文件路径的不同
a.nginx默认存在/root//www/server/nginx中，在上传代码时，要看nginx/conf/ nginx.conf

server段中，是nginx的基本配置，listen是监听的端口，root是就是存放代码的位置，与虚拟机教程中有所不同。

前后端代码布置，参考上面教程

原文链接：https://blog.csdn.net/tjpuliang/article/details/118575604