大数据
文章平均质量分 83
wangleittt
这个作者很懒,什么都没留下…
展开
-
hive下1.5亿数据统计数据
select g.inc_day, count( case when g.position_attr in ('一线', '二线') then g.emp_code end ) as one_two_total, count( case when g.position_attr = '三线' THEN g.emp_code end ) as three_total, count( case when g.po...原创 2020-08-24 14:44:00 · 567 阅读 · 0 评论 -
大数据hive统计全年每天上班在9:00-9:30的数据,通用sql
作者官方网站:http://www.wxl568.cn统计全年每天上班在9:00-9:30的数据select count(1), t.clock_time_bfrom ( select DATE_FORMAT(clock_time, 'HH:mm') as clock_time_a, DATE_FORMAT(clock_time, 'yyyy-M...原创 2020-01-17 10:30:56 · 455 阅读 · 0 评论 -
DataX介绍
作者官方网站:http://www.wxl568.cnDataX介绍一. DataX3.0概览DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。...原创 2019-12-31 14:27:09 · 281 阅读 · 0 评论 -
hive算星期几与日期格式化使用
作者官方网站:http://www.wxl568.cnhive算星期几select pmod(datediff('2018-06-21', '1920-01-01') - 3, 7)数据20180705执行后201807from_unixtime(unix_timestamp(KQ.INC_day,'yyyyMMdd'),'yyyyMM') baruploadtm ...原创 2018-07-13 10:05:59 · 1495 阅读 · 0 评论 -
hive 实例脚本计算 同步个人画像我的能力数据处理实例
作者官方网站:http://www.wxl568.cnset mapred.max.split.size=100000000;set mapred.min.split.size.per.node=100000000;set mapred.min.split.size.per.rack=100000000;set hive.exec.reducers.max=200;set hive.e...原创 2018-07-25 10:30:25 · 301 阅读 · 0 评论 -
hive处理层级段
作者官方网站:http://www.wxl568.cn处理层级段drop table if exists sf_bdp.hgm_tm_org1;create table sf_bdp.hgm_tm_org1 asselect a.orgid , a.depth , case when a.depth<'7' then a.orgid ...原创 2019-01-03 15:13:16 · 1494 阅读 · 0 评论 -
hive 创建表实例
作者官方网站:http://www.wxl568.cn分区整理创建表inc_day=天存储INC_MON=月存储------------引号处理create table dm_hrssgps.pmp_agnt_operation_log_big(opt_menucount string comment '统计数据',opt_menu string ...原创 2019-01-03 15:13:46 · 972 阅读 · 0 评论 -
Hive之列转行,通用sql写法
作者官方网站:http://www.wxl568.cn实例数据图转换换行select uid, concat_ws (',', collect_list(date_time)) as date_time from dm_hrssgps.timeaaagroup by uid使用函数:concat_ws(',',collect_set(column)) ...原创 2019-08-14 10:04:13 · 1191 阅读 · 0 评论 -
日常启动大数据
作者官方网站:http://www.wxl568.cn日常启动大数据ps aux|grep elasticsearch./elasticsearch命令验证curl -X GET http://127.0.0.1:9200/logstash启动./logstash -f logstash_A.confkibana启动./kibana如果此时看到表中只有localh...原创 2019-08-29 20:04:18 · 146 阅读 · 0 评论