静静网站流量分析项目之自动化执行脚本_6

1.在MySql中创建需要的数据库和表

create database JingJingdb;

use JingJingdb;

create table tongji1(

        reportTime date,

        pv int,

        uv int,

        vv int,

        br double,

        newip int,

        newcust int,

        avgtime double,

        avgdeep double

);

2.利用sqoop从hive导出数据到mysql

./sqoop export --connect jdbc:mysql://lj01:3306/JingJingdb --username root --password root --export-dir '/user/hive/warehouse/JingJingdb/tongji1' --table tongji1 -m 1 --fields-terminated-by '|'

3.自动化脚本

1.hive调用hql脚本

./hive -e "HQL"或./hive -f HQL文件

2.hive定义变量

./hive --define key=value 或  ./hive -d key=value