MapReduce
数据清洗
hive
textfile格式
create table 表名(
a string ,
b string
)
row format delimited
fields terminated by "指定分隔符"
stored as textfile;
load data local inpath '本地路径' into table '表名'
orc格式
create table 表名(
a string ,
b string
)
row format delimited
fields terminated by "指定分隔符"
stored as orc;
insert into table orc表名 select * from 原始表名;
hql语句执行方式
hive -e "select * from 表名 where 条件" > 写入文件的路径
与hbase 关联
1.创建hive中 的外部表
create external table 表名(
a string ,
b string
)
row format delimited
fields terminated by "指定分隔符"
stored as textfile;
load data local inpath '本地路径' into table '表名'
2.hive2hbase
映射表示例
create table hbase中的表名(
a string,
b string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties("hbase.columns.mapping" = ":key,列族1:字段1,列族1:字段1")
tblproperties("hbase.table.name" = "hbase中的表名");
insert overwrite table hbase中的表名 select * from hive中的外部表名
4.phoenix
5.web页面
离线大数据项目流程
最新推荐文章于 2022-01-11 19:35:56 发布