5.26赛前培训
2023年5月29日
21:56
public_ip外网ip用来连接ssh
名称:ip
用户名:root
密码:平台提供
一、
任务1:
1.改hosts文件:vim /etc/hosts
(ip)+ hadoop000
:wq
修改主机名:hostnamectl set-hostname hadoop000
bash
ssh hadoop000
2.格式化hdfs:hadoop namenode -format
3.启动hadoop集群:start-all.sh
jps
4.开启mysql服务:systemctl start mysqld.service
初始化hive:schematool -dbType mysql -initSchema
进入hive客户端:hive
创建对应的hive数据库:create database hive;
任务1完成;
任务2:
1.创建Project数据库:create database if not exists project;
use project;
2.创建theft数据表:
3.使用load data子句加载云主机数据/root/college/theft.csv至管理表theft:
4.统计2021年5月发生的案件总数,结果写入云主机/root/theft/result01/000000_0文件中:
5.统计2021年4月经济损失总额,结果写入云主机/root/theft/result02/000000_0文件中:
任务2演示完。
Windows下:
1.安装java,配置环境变量【java环境变量 的配置与详解(全网最详细教程)_java环境变量配置_S-D-C-L-Yourn的博客-CSDN博客】
2.安装eclipse
3.解压hadoop,配置环境变量【
win10搭建hadoop2.7.7
来自 <win10搭建hadoop2.7.7_hadoop2.7.7安装教程_腾阳山泥若的博客-CSDN博客>
】
4.安装eclipse上hadoop插件
5.
6.
hosts文件目录:
C:\Windows\System32\drivers\etc
二、SQL数据分析
终端连接上:
1.开启mysql服务:
systemctl start mysqld
开启完了之后连接数据库:
2. 创建数据库employee并使用此数据库:
create database employee;
use employee;
3.在数据库employee数据库下创建数据表employee并导入数据:
连接mysql:
mysql -uroot -p123456
4.在数据库employee下创建数据表attendance并导入数据:
5.在数据库employee下创建数据表calendar并导入数据:
6.
然后可以使用navicat连接工具来做:
7.
8.
9.
10.