清洗完数据放入表

创建一个log的表

create table log(user_id String,cid_sn String,mobile_data_ty String,os_ver String,mac 
    String,resolution String,commit_time String,sdk_ver String,device_id_type String,city String,androidid 
    String,device_model String,carrier String,promotion_channel String,app_ver_name String,imei 
    String,app_ver_code String,pid String,net_type String,device_id String,app_device_id 
    String,release_channel String,country String,time_zone String,os_name String,manufacture 
    String,commit_id String,app_token String,account String,app_id String,build_num String,language 
    String)partitioned by(time string,pai string)row format delimited fields terminated by ',';

linux数据本地上传hive表

load data local inpath '/opt/b.txt' into table data partition(time='20190118',pai ='ios');

hdfs数据上传hive表

load data inpath '/Android' into table data partition(time='20190118',pai ='ios');

hive清空表

insert overwrite table data select * from data where 1=0;

清空分区

ALTER TABLE data  DROP PARTITION (time='20180118');

取出日活跃的最后一条记录(提前创建一个active_day表分区只有一个time)

insert into table active_day partition(time ='20180428')select user_id,cid_sn,mobile_data_ty,os_ver 

,mac,resolution,commit_time,sdk_ver,device_id_type,city,androidid,device_model,carrier,promotion_channe

l,app_ver_name,imei,app_ver_code,pid,net_type,device_id,app_device_id,release_channel,country,time_zone

,os_name,manufacture,commit_id,app_token,account,app_id,build_num,language from(select * ,row_number() 

over(partition by user_id order by commit_time)as rn from log where time ='20180428') as tmp where rn = 

1;
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark是一个用于大数据处理的开发平台,支持多种数据源的读入和输出。HBase是一个分布式的非关系型数据库,常用于海量数据的存储和查询。而MySQL是一种关系型数据库,常用于小型数据的管理。在实际的数据处理中,经常需要将HBase中的数据清洗放入MySQL中进行进一步的处理,那么该如何处理呢? 首先,需要考虑如何读取HBase中的数据。Spark提供了对HBase的支持,可以通过Spark SQL或RDD API来读取HBase中的数据。当使用Spark SQL时,需先创建HBase对应的Schema,再用Spark SQL 读取数据。如果使用RDD API,需要创建HBaseConfiguration 对象,并指定对应的名、列族等信息。 其次,进行数据清洗数据清洗数据处理中不可或缺的一部分,通常包括数据过滤、字段选择、缺失值填充等操作。Spark提供了大量的API,便于对数据进行各种数据转换和处理。在数据清洗过程中,可能出现数据量过大或者计算时间较长的情况,可以考虑使用分布式的计算框架Spark进行加速处理。 最后,将清洗后的数据存入MySQL数据库。Spark的 SQLContext 或 DataFrame API 可以将数据直接写入到MySQL中。需要指定连接MySQL数据库的信息,包括服务器地址、端口号、数据库名、用户名和密码等参数。 综上所述,Spark 读取HBase数据清洗放入MySQL,需要先读取HBase中的数据,进行数据清洗转换,最后将数据存储到MySQL中。Spark提供了丰富的API和分布式计算技术,便于处理大型数据集。实现这一过程,需要考虑数据的规模、计算时间和存储需求等多个因素,细致分析后,选择合适的技术和算法,方能获得良好的处理效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值