Hadoop的实战

步骤：数据准备、数据加工、数据可视化、仪表盘驾驶舱、分享仪表盘

1.数据准备

需要将数据上传到数据库中。先从本地上传到linux系统，在将linux系统中的文件传到数据库（hive）中，在数据库进行分类。

• 将本地文件上传到linux系统中：可以使用xshell和xftp进行文件互传
• 将linux文件上传到数据库中：1.需要先创建数据库2.创建好相应格式的表。
• 把文件上传：

load data local inpath 'linux文件路径' into table 表名 ;

 问题：解决上传数据库乱码问题

--注意 下面sql语句是需要在MySQL中执行  修改Hive存储的元数据信息（metadata）

show variables like 'char%';

use hive;

show tables;



alter table hive.COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

alter table hive.TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

alter table hive.PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;

alter table hive.PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

alter table hive.INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

--注意 下面是linux的shell命令，在linux终端执行

-- 修改mysql中数据库默认字符集

-- 1）修改配置文件

$ vim /etc/my.cnf

# 在[mysqld]上面添加

[client] 

default-character-set=utf8

# 在[mysqld]下面添加一行：

default-storage-engine=INNODB 

character-set-server=utf8

collation-server=utf8_general_ci

2）重启MySQL服务

$ systemctl restart mysqld

 如果在这些步骤之前已经创建了数据库和表，需要删除后重新建新的数据库。

 2.数据加工

对想要的数据进行加工处理，进行数据清洗

怎么进行数据清洗：

很详细，快去看！！！https://zhuanlan.zhihu.com/p/109413107

例如：

基础数据库命令使用：会创建，修改，查询表。

我之前内容有发。。

 3.进行数据可视化

使用到的工具：FineBI 

网址：https://www.finebi.com/

效果：我们仪表盘做的简单，具体使用要求，美观要求，自行了解，熟悉软件