违法行为分析1

已于 2022-07-06 17:03:04 修改
阅读量257 收藏
点赞数
分类专栏： 智慧交通 初学大数据 文章标签： 智慧交通
于 2022-07-06 17:01:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/125621451
版权 
spark-sql> select tt1.tjrq
         >         ,tt1.dr_sgs
         >         ,tt1.jn_sgs
         >         ,tt1.qntq_sgs
         > 
         >         ,tt1.dr_swsgs
         >         ,tt1.jn_swsgs
         >         ,tt1.qntq_swsgs
         > 
         >         ,tt1.dr_swrs
         >         ,tt1.jn_swrs
         >         ,tt1.qntq_swrs
         > 
         >         ,NVL(round((abs(tt1.dr_sgs-tt1.qntq_sgs)/NVL(tt1.qntq_sgs,1))*100,2),0) as tb_sgs
         >         ,if(tt1.dr_sgs-tt1.qntq_sgs>0,"上升",'下降') as tb_sgs_bj
         > 
         >         ,NVL(round((abs(tt1.dr_swsgs-tt1.qntq_swsgs)/NVL(tt1.qntq_swsgs,1))*100,2),0) as tb_swsgs
         >         ,if(tt1.dr_swsgs-tt1.qntq_swsgs>0,"上升",'下降') as tb_swsgs_bj
         > 
         >         ,NVL(round((abs(tt1.dr_swrs-tt1.qntq_swrs)/NVL(tt1.qntq_swrs,1))*100,2),0) as tb_swrs
         >         ,if(tt1.dr_swrs-tt1.qntq_swrs>0,"上升",'下降') as tb_swrs_bj
         > from(
         >     select t1.tjrq
         >         ,t1.dr_sgs
         >         ,t1.dr_swsgs
         >         ,t1.dr_swrs
         > 
         >         ,sum(t1.dr_sgs)over (partition by substr(t1.tjrq,1,4))as jn_sgs
         >         ,lag(t1.dr_sgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_sgs
         > 
         >         ,sum(t1.dr_swsgs)over (partition by substr(t1.tjrq,1,4))as jn_swsgs
         >         ,lag(t1.dr_swsgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swsgs
         > 
         >         ,sum(t1.dr_swrs)over (partition by substr(t1.tjrq,1,4))as jn_swrs
         >         ,lag(t1.dr_swrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swrs
         >     from(
         >         select substr(sgfssj,1,10)as tjrq
         >             ,count(1)as dr_sgs --当日事故数
         >             ,sum(if(swrs7>0,1,0))as dr_swsgs --当日发生死亡事故数
         >             ,sum(swrs7)as dr_swrs --当日死亡人数
         >         from dwd.base_acd_file 
         >         group by substr(sgfssj,1,10)
         > )t1
         > )tt1
         > order by tt1.tjrq;
Time taken: 6.484 seconds, Fetched 4966 row(s)
22/07/05 15:46:19 INFO thriftserver.SparkSQLCLIDriver: Time taken: 6.484 seconds, Fetched 4966 row(s)
spark-sql> select tt1.tjrq
         >         ,tt1.dr_sgs
         >         ,tt1.jn_sgs
         >         ,tt1.qntq_sgs
         > 
         >         ,tt1.dr_swsgs
         >         ,tt1.jn_swsgs
         >         ,tt1.qntq_swsgs
         > 
         >         ,tt1.dr_swrs
         >         ,tt1.jn_swrs
         >         ,tt1.qntq_swrs
         > 
         >         ,tt1.dr_ssrs
         >         ,tt1.jn_ssrs
         >         ,tt1.qntq_ssrs
         > 
         >         ,tt1.dr_zjccss
         >         ,tt1.jn_zjccss
         >         ,tt1.qntq_zjccss
         > 
         >         ,NVL(round((abs(tt1.dr_sgs-tt1.qntq_sgs)/NVL(tt1.qntq_sgs,1))*100,2),0) as tb_sgs
         >         ,if(tt1.dr_sgs-tt1.qntq_sgs>0,"上升",'下降') as tb_sgs_bj
         > 
         >         ,NVL(round((abs(tt1.dr_swsgs-tt1.qntq_swsgs)/NVL(tt1.qntq_swsgs,1))*100,2),0) as tb_swsgs
         >         ,if(tt1.dr_swsgs-tt1.qntq_swsgs>0,"上升",'下降') as tb_swsgs_bj
         > 
         >         ,NVL(round((abs(tt1.dr_swrs-tt1.qntq_swrs)/NVL(tt1.qntq_swrs,1))*100,2),0) as tb_swrs
         >         ,if(tt1.dr_swrs-tt1.qntq_swrs>0,"上升",'下降') as tb_swrs_bj
         >
         >         ,NVL(round((abs(tt1.dr_ssrs-tt1.qntq_ssrs)/NVL(tt1.qntq_ssrs,1))*100,2),0) as tb_ssrs
         >         ,if(tt1.dr_ssrs-tt1.qntq_ssrs>0,"上升",'下降') as tb_ssrs_bj        
         > 
         >         ,NVL(round((abs(tt1.dr_zjccss-tt1.qntq_zjccss)/NVL(tt1.qntq_zjccss,1))*100,2),0) as tb_zjccss
         >         ,if(tt1.dr_zjccss-tt1.qntq_zjccss>0,"上升",'下降') as tb_zjccss_bj
         > from(
         >     select t1.tjrq
         >         ,t1.dr_sgs
         >         ,t1.dr_swsgs
         >         ,t1.dr_swrs
         >         ,t1.dr_ssrs
         >         ,t1.dr_zjccss
         > 
         >         ,sum(t1.dr_sgs)over (partition by substr(t1.tjrq,1,4))as jn_sgs
         >         ,lag(t1.dr_sgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_sgs
         > 
         >         ,sum(t1.dr_swsgs)over (partition by substr(t1.tjrq,1,4))as jn_swsgs
         >         ,lag(t1.dr_swsgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swsgs
         > 
         >         ,sum(t1.dr_swrs)over (partition by substr(t1.tjrq,1,4))as jn_swrs
         >         ,lag(t1.dr_swrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swrs
         > 
         >         ,sum(t1.dr_ssrs)over (partition by substr(t1.tjrq,1,4))as jn_ssrs
         >         ,lag(t1.dr_ssrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_ssrs
         > 
         >         ,sum(t1.dr_zjccss)over (partition by substr(t1.tjrq,1,4))as jn_zjccss
         >         ,lag(t1.dr_zjccss,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_zjccss
         >     from(
         >         select substr(sgfssj,1,10)as tjrq
         >             ,count(1)as dr_sgs --当日事故数
         >             ,sum(if(swrs7>0,1,0))as dr_swsgs --当日发生死亡事故数
         >             ,sum(swrs7)as dr_swrs --当日死亡人数
         >             ,sum(ssrs7)as dr_ssrs --当日受伤人数
         >             ,sum(zjccss)as dr_zjccss --当日直接财产损失
         >         from dwd.base_acd_file 
         >         group by substr(sgfssj,1,10)
         > )t1
         > )tt1
         > order by tt1.tjrq;
Time taken: 11.104 seconds, Fetched 4966 row(s)
22/07/05 15:56:13 INFO thriftserver.SparkSQLCLIDriver: Time taken: 11.104 seconds, Fetched 4966 row(s)
spark-sql> select tt1.tjrq
         > 
         >         ,tt1.dr_sgs
         >         ,tt1.jn_sgs
         >         ,tt1.qntq_sgs
         >         ,NVL(round((abs(tt1.dr_sgs-tt1.qntq_sgs)/NVL(tt1.qntq_sgs,1))*100,2),0) as tb_sgs
         >         ,if(tt1.dr_sgs-tt1.qntq_sgs>0,"上升",'下降') as tb_sgs_bj
         > 
         >         ,tt1.dr_swsgs
         >         ,tt1.jn_swsgs
         >         ,tt1.qntq_swsgs
         >         ,NVL(round((abs(tt1.dr_swsgs-tt1.qntq_swsgs)/NVL(tt1.qntq_swsgs,1))*100,2),0) as tb_swsgs
         >         ,if(tt1.dr_swsgs-tt1.qntq_swsgs>0,"上升",'下降') as tb_swsgs_bj
         > 
         >         ,tt1.dr_swrs
         >         ,tt1.jn_swrs
         >         ,tt1.qntq_swrs
         >         ,NVL(round((abs(tt1.dr_swrs-tt1.qntq_swrs)/NVL(tt1.qntq_swrs,1))*100,2),0) as tb_swrs
         >         ,if(tt1.dr_swrs-tt1.qntq_swrs>0,"上升",'下降') as tb_swrs_bj
         > 
         >         ,tt1.dr_ssrs
         >         ,tt1.jn_ssrs
         >         ,tt1.qntq_ssrs
         >         ,NVL(round((abs(tt1.dr_ssrs-tt1.qntq_ssrs)/NVL(tt1.qntq_ssrs,1))*100,2),0) as tb_ssrs
         >         ,if(tt1.dr_ssrs-tt1.qntq_ssrs>0,"上升",'下降') as tb_ssrs_bj
         > 
         >         ,tt1.dr_zjccss
         >         ,tt1.jn_zjccss
         >         ,tt1.qntq_zjccss
         >         ,NVL(round((abs(tt1.dr_zjccss-tt1.qntq_zjccss)/NVL(tt1.qntq_zjccss,1))*100,2),0) as tb_zjccss
         >         ,if(tt1.dr_zjccss-tt1.qntq_zjccss>0,"上升",'下降') as tb_zjccss_bj
         > from(
         >     select t1.tjrq
         > 
         >         ,t1.dr_sgs
         >         ,sum(t1.dr_sgs)over (partition by substr(t1.tjrq,1,4))as jn_sgs
         >         ,lag(t1.dr_sgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_sgs
         > 
         >         ,t1.dr_swsgs
         >         ,sum(t1.dr_swsgs)over (partition by substr(t1.tjrq,1,4))as jn_swsgs
         >         ,lag(t1.dr_swsgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swsgs
         > 
         >         ,t1.dr_swrs
         >         ,sum(t1.dr_swrs)over (partition by substr(t1.tjrq,1,4))as jn_swrs
         >         ,lag(t1.dr_swrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swrs
         > 
         >         ,t1.dr_ssrs
         >         ,sum(t1.dr_ssrs)over (partition by substr(t1.tjrq,1,4))as jn_ssrs
         >         ,lag(t1.dr_ssrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_ssrs
         > 
         >         ,t1.dr_zjccss
         >         ,sum(t1.dr_zjccss)over (partition by substr(t1.tjrq,1,4))as jn_zjccss
         >         ,lag(t1.dr_zjccss,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_zjccss
         >     from(
         >         select substr(sgfssj,1,10)as tjrq
         >             ,count(1)as dr_sgs --当日事故数
         >             ,sum(if(swrs7>0,1,0))as dr_swsgs --当日发生死亡事故数
         >             ,sum(swrs7)as dr_swrs --当日死亡人数
         >             ,sum(ssrs7)as dr_ssrs --当日受伤人数
         >             ,sum(zjccss)as dr_zjccss --当日直接财产损失
         >         from dwd.base_acd_file 
         >         group by substr(sgfssj,1,10)
         > )t1
         > )tt1
         > order by tt1.tjrq;
Time taken: 9.019 seconds, Fetched 4966 row(s)
22/07/05 16:06:51 INFO thriftserver.SparkSQLCLIDriver: Time taken: 9.019 seconds, Fetched 4966 row(s)
spark-sql> create database dws;
Time taken: 0.829 seconds
22/07/05 16:08:44 INFO thriftserver.SparkSQLCLIDriver: Time taken: 0.829 seconds
spark-sql> use dws;
Time taken: 0.032 seconds
22/07/05 16:08:50 INFO thriftserver.SparkSQLCLIDriver: Time taken: 0.032 seconds
spark-sql> CREATE TABLE dws.app_acd_mrjq(
         > tjrq STRING COMMENT '统计日期',
         > 
         > dr_sgs int COMMENT '当日事故数',
         > jn_sgs int COMMENT '今年事故数',
         > tb_sgs double COMMENT '同比事故数',
         > tb_sgs_bj STRING COMMENT '同比事故数标记',
         > 
         > dr_swsgs int COMMENT '当日死亡事故数',
         > jn_swsgs int COMMENT '今年死亡事故数',
         > tb_swsgs double COMMENT '同比死亡事故数',
         > tb_swsgs_bj STRING COMMENT '同比死亡事故数标记',
         > 
         > dr_swrs int COMMENT '当日死亡人数',
         > jn_swrs int COMMENT '今年死亡人数',
         > tb_swrs double COMMENT '同比死亡人数',
         > tb_swrs_bj STRING COMMENT '同比死亡人数标记',
         > 
         > dr_ssrs int COMMENT '当日受伤人数',
         > jn_ssrs int COMMENT '今年受伤人数',
         > tb_ssrs double COMMENT '同比受伤人数',
         > tb_ssrs_bj STRING COMMENT '同比受伤人数标记',
         > 
         > dr_zjccss int COMMENT '当日财产损失',
         > jn_zjccss int COMMENT '今年财产损失',
         > tb_zjccss double COMMENT '同比财产损失',
         > tb_zjccss_bj STRING COMMENT '同比财产损失标记'
         > )
         > ROW FORMAT DELIMITED 
         >     FIELDS TERMINATED BY '^' 
         > STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' 
         > OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
         > location '/car/dws/app_acd_mrjq'; 
Time taken: 0.186 seconds
22/07/05 16:11:50 INFO thriftserver.SparkSQLCLIDriver: Time taken: 0.186 seconds
spark-sql> INSERT overwrite table dws.app_acd_mrjq 
         > select tt1.tjrq
         >         ,tt1.dr_sgs
         >         ,tt1.jn_sgs
         >         ,NVL(round((abs(tt1.dr_sgs-tt1.qntq_sgs)/NVL(tt1.qntq_sgs,1))*100,2),0) as tb_sgs
         >         ,if(tt1.dr_sgs-tt1.qntq_sgs>0,"上升",'下降') as tb_sgs_bj
         >         ,tt1.dr_swsgs
         >         ,tt1.jn_swsgs
         >         ,NVL(round((abs(tt1.dr_swsgs-tt1.qntq_swsgs)/NVL(tt1.qntq_swsgs,1))*100,2),0) as tb_swsgs
         >         ,if(tt1.dr_swsgs-tt1.qntq_swsgs>0,"上升",'下降') as tb_swsgs_bj
         >         ,tt1.dr_swrs
         >         ,tt1.jn_swrs
         >         ,NVL(round((abs(tt1.dr_swrs-tt1.qntq_swrs)/NVL(tt1.qntq_swrs,1))*100,2),0) as tb_swrs
         >         ,if(tt1.dr_swrs-tt1.qntq_swrs>0,"上升",'下降') as tb_swrs_bj
         >         ,tt1.dr_ssrs
         >         ,tt1.jn_ssrs
         >         ,NVL(round((abs(tt1.dr_ssrs-tt1.qntq_ssrs)/NVL(tt1.qntq_ssrs,1))*100,2),0) as tb_ssrs
         >         ,if(tt1.dr_ssrs-tt1.qntq_ssrs>0,"上升",'下降') as tb_ssrs_bj
         >         ,tt1.dr_zjccss
         >         ,tt1.jn_zjccss
         >         ,NVL(round((abs(tt1.dr_zjccss-tt1.qntq_zjccss)/NVL(tt1.qntq_zjccss,1))*100,2),0) as tb_zjccss
         >         ,if(tt1.dr_zjccss-tt1.qntq_zjccss>0,"上升",'下降') as tb_zjccss_bj
         > from(
         >     select t1.tjrq
         >         ,t1.dr_sgs
         >         ,sum(t1.dr_sgs)over (partition by substr(t1.tjrq,1,4))as jn_sgs
         >         ,lag(t1.dr_sgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_sgs
         >         ,t1.dr_swsgs
         >         ,sum(t1.dr_swsgs)over (partition by substr(t1.tjrq,1,4))as jn_swsgs
         >         ,lag(t1.dr_swsgs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swsgs
         >         ,t1.dr_swrs
         >         ,sum(t1.dr_swrs)over (partition by substr(t1.tjrq,1,4))as jn_swrs
         >         ,lag(t1.dr_swrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_swrs
         >         ,t1.dr_ssrs
         >         ,sum(t1.dr_ssrs)over (partition by substr(t1.tjrq,1,4))as jn_ssrs
         >         ,lag(t1.dr_ssrs,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_ssrs
         >         ,t1.dr_zjccss
         >         ,sum(t1.dr_zjccss)over (partition by substr(t1.tjrq,1,4))as jn_zjccss
         >         ,lag(t1.dr_zjccss,1,1)over (partition by substr(t1.tjrq,6,5)order by substr(t1.tjrq,1,4))as qntq_zjccss
         >     from(
         >         select substr(sgfssj,1,10)as tjrq
         >             ,count(1)as dr_sgs --当日事故数
         >             ,sum(if(swrs7>0,1,0))as dr_swsgs --当日发生死亡事故数
         >             ,sum(swrs7)as dr_swrs --当日死亡人数
         >             ,sum(ssrs7)as dr_ssrs --当日受伤人数
         >             ,sum(zjccss)as dr_zjccss --当日直接财产损失
         >         from dwd.base_acd_file 
         >         group by substr(sgfssj,1,10)
         > )t1
         > )tt1;
spark-sql> select * from dws.app_acd_mrjq;
Time taken: 0.271 seconds, Fetched 4966 row(s)
22/07/05 16:23:40 INFO thriftserver.SparkSQLCLIDriver: Time taken: 0.271 seconds, Fetched 4966 row(s)
spark-sql> select substr(fxjg,1,4) as fxjg,wfxw1 as wfxw,jtfs,dllx,xxly,wfdd,wfsj,cjbj,jllx  from dwd.base_vio_force  union all
         > select substr(fxjg,1,4) as fxjg,wfxw2 as wfxw,jtfs,dllx,xxly,wfdd,wfsj,cjbj,jllx  from dwd.base_vio_force  union all
         > select substr(fxjg,1,4) as fxjg,wfxw3 as wfxw,jtfs,dllx,xxly,wfdd,wfsj,cjbj,jllx  from dwd.base_vio_force  union all
         > select substr(fxjg,1,4) as fxjg,wfxw4 as wfxw,jtfs,dllx,xxly,wfdd,wfsj,cjbj,jllx  from dwd.base_vio_force  union all
         > select substr(fxjg,1,4) as fxjg,wfxw5 as wfxw,jtfs,dllx,xxly,wfdd,wfsj,cjbj,jllx  from dwd.base_vio_force  union all
         > select substr(fxjg,1,4) as fxjg,wfxw,jtfs,dllx,xxly,wfdd,wfsj,'1' cjbj,jllx   from dwd.base_vio_violation  
         > ;
Time taken: 4.433 seconds, Fetched 262227 row(s)
22/07/06 16:16:11 INFO thriftserver.SparkSQLCLIDriver: Time taken: 4.433 seconds, Fetched 262227 row(s)
spark-sql> select substr(fxjg,1,4)as fxjg
         >         ,wfxw
         >         ,jtfs
         >         ,dllx
         >         ,xxly
         >         ,wfdd
         >         ,wfsj
         >         ,cjbj
         >         ,jllx
         > from dwd.base_vio_force
         > lateral view explode(array(wfxw1,wfxw2,wfxw3,wfxw4,wfxw5))v as wfxw
         > union 
         > select substr(fxjg,1,4) as fxjg,wfxw,jtfs,dllx,xxly,wfdd,wfsj,'1' cjbj,jllx   from dwd.base_vio_violation  
         > ;
Time taken: 3.768 seconds, Fetched 129456 row(s)
22/07/06 16:24:40 INFO thriftserver.SparkSQLCLIDriver: Time taken: 3.768 seconds, Fetched 129456 row(s)
spark-sql> select *
         > from(
         >     select substr(fxjg,1,4)as fxjg
         >         ,wfxw
         >         ,jtfs
         >         ,dllx
         >         ,xxly
         >         ,wfdd
         >         ,wfsj
         >         ,cjbj
         >         ,jllx
         >     from dwd.base_vio_force
         >     lateral view explode(array(wfxw1,wfxw2,wfxw3,wfxw4,wfxw5))v as wfxw
         >     union 
         >     select substr(fxjg,1,4) as fxjg
         >                             ,wfxw
         >                             ,jtfs
         >                             ,dllx
         >                             ,xxly
         >                             ,wfdd
         >                             ,wfsj
         >                             ,'1' cjbj
         >                             ,jllx   from dwd.base_vio_violation  
         > )t1 where t1.fxjg='5306' and t1.wfxw='1083B';
Time taken: 1.654 seconds, Fetched 443 row(s)
22/07/06 16:30:16 INFO thriftserver.SparkSQLCLIDriver: Time taken: 1.654 seconds, Fetched 443 row(s)
spark-sql> select *
         > from(
         >     select substr(fxjg,1,4)as fxjg
         >         ,wfxw
         >         ,jtfs
         >         ,dllx
         >         ,xxly
         >         ,wfdd
         >         ,wfsj
         >         ,cjbj
         >         ,jllx
         >     from dwd.base_vio_force
         >     lateral view explode(array(wfxw1,wfxw2,wfxw3,wfxw4,wfxw5))v as wfxw
         >     union 
         >     select substr(fxjg,1,4) as fxjg
         >             ,wfxw
         >             ,jtfs
         >             ,dllx
         >             ,xxly
         >             ,wfdd
         >             ,wfsj
         >             ,'1' cjbj
         >             ,jllx   
         >     from dwd.base_vio_violation  
         > )t1 where t1.fxjg='5306' and t1.wfxw='1083B'
         > order by t1.wfsj
         > ;
Time taken: 2.812 seconds, Fetched 443 row(s)
22/07/06 16:33:18 INFO thriftserver.SparkSQLCLIDriver: Time taken: 2.812 seconds, Fetched 443 row(s)
spark-sql> select date_format('2020-10-16 01:36:24','yyyy-MM-dd');
spark-sql> select date_format('2020-10-16 01:36:24','yyyy/MM/dd');
spark-sql> select ttt1.tjrq
         >         ,ttt1.dr_wfs
         >         ,ttt1.jn_wfs
         >         ,ttt1.qntq_wfs
         >         ,NVL(round((abs(ttt1.dr_wfs-ttt1.qntq_wfs)/NVL(ttt1.qntq_wfs,1))*100,2),0) as tb
         > from(
         >         select tt1.tjrq
         >             ,tt1.dr_wfs
         >             ,sum(tt1.dr_wfs)over (partition by year(tt1.tjrq))as jn_wfs
         >             ,lag(tt1.dr_wfs,1,1)over (partition by date_format(tt1.tjrq,'MM-dd')order by  year(tt1.tjrq))as qntq_wfs
         >     from(
         >         select date_format(t1.wfsj,'yyyy-MM-dd')as tjrq
         >                 ,count(1)as dr_wfs --当日违法数
         >         from(
         >             select substr(fxjg,1,4)as fxjg
         >                 ,wfxw
         >                 ,jtfs
         >                 ,dllx
         >                 ,xxly
         >                 ,wfdd
         >                 ,wfsj
         >                 ,cjbj
         >                 ,jllx
         >             from dwd.base_vio_force
         >             lateral view explode(array(wfxw1,wfxw2,wfxw3,wfxw4,wfxw5))v as wfxw
         >             union 
         >             select substr(fxjg,1,4) as fxjg
         >                     ,wfxw
         >                     ,jtfs
         >                     ,dllx
         >                     ,xxly
         >                     ,wfdd
         >                     ,wfsj
         >                     ,'1' cjbj
         >                     ,jllx   
         >             from dwd.base_vio_violation  
         >         )t1 where t1.wfxw is not null
         >         group by date_format(t1.wfsj,'yyyy-MM-dd')
         >     )tt1
         > )ttt1
         > 
         > ;
Time taken: 8.772 seconds, Fetched 1021 row(s)
22/07/06 16:57:47 INFO thriftserver.SparkSQLCLIDriver: Time taken: 8.772 seconds, Fetched 1021 row(s)
spark-sql> select ttt1.tjrq
         >         ,ttt1.dr_wfs
         >         ,ttt1.jn_wfs
         >         ,ttt1.qntq_wfs
         >         ,NVL(round((abs(ttt1.dr_wfs-ttt1.qntq_wfs)/NVL(ttt1.qntq_wfs,1))*100,2),0) as tb
         >         ,if(ttt1.dr_wfs>ttt1.qntq_wfs,'上升','下降') as tbbj
         > from(
         >         select tt1.tjrq
         >             ,tt1.dr_wfs
         >             ,sum(tt1.dr_wfs)over (partition by year(tt1.tjrq))as jn_wfs
         >             ,lag(tt1.dr_wfs,1,1)over (partition by date_format(tt1.tjrq,'MM-dd')order by  year(tt1.tjrq))as qntq_wfs
         >     from(
         >         select date_format(t1.wfsj,'yyyy-MM-dd')as tjrq
         >                 ,count(1)as dr_wfs --当日违法数
         >         from(
         >             select substr(fxjg,1,4)as fxjg
         >                 ,wfxw
         >                 ,jtfs
         >                 ,dllx
         >                 ,xxly
         >                 ,wfdd
         >                 ,wfsj
         >                 ,cjbj
         >                 ,jllx
         >             from dwd.base_vio_force
         >             lateral view explode(array(wfxw1,wfxw2,wfxw3,wfxw4,wfxw5))v as wfxw
         >             union 
         >             select substr(fxjg,1,4) as fxjg
         >                     ,wfxw
         >                     ,jtfs
         >                     ,dllx
         >                     ,xxly
         >                     ,wfdd
         >                     ,wfsj
         >                     ,'1' cjbj
         >                     ,jllx   
         >             from dwd.base_vio_violation  
         >         )t1 where t1.wfxw is not null
         >         group by date_format(t1.wfsj,'yyyy-MM-dd')
         >     )tt1
         > )ttt1
         > ;
Time taken: 5.995 seconds, Fetched 1021 row(s)
22/07/06 17:01:35 INFO thriftserver.SparkSQLCLIDriver: Time taken: 5.995 seconds, Fetched 1021 row(s)

小胖超凶哦！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
相关性分析热点图_车联网数据分析（二）：驾驶行为分析
weixin_39734987的博客
10-23 1278
出门在外，遇上交通拥堵、事故，那可真是头大。许多交通拥堵和交通事故与驾驶员的驾驶行为有关。驾驶行为通常也是驾驶习惯，习惯成自然。在开车的过程中，如果有不良的驾驶行为，驾驶员自己很难意识到，但是后果可能很严重。车联网开启了新的可能，因为数据可以告诉我们真相。基于车联网实时数据，可以实时监测和评估驾驶员的驾驶行为和驾驶状态，并及时提醒驾驶员改变驾驶习惯，避免交通事故的发生。对于车队管理、保险公司（UB...
社交网络用户行为分析,各类社交软件用户分析
super67269的博客
08-20 3011
除此之外，很多的社交网络还证明会降低亲密关系满意度，因为他会使人产生嫉妒和疑心，研究者更认为，现在的人都喜欢在社交网络分享自己的生活以及信息，很有可能就会暴露自己身边的朋友或者自己现在以及之前的伴侣的个人信息已经经历，这些都是很同意暴露其他人的信息，同时也会引起他人的猜想跟想象。读她发布的信息，你会不由会心一笑，心生温暖。所以，如果当你感到很强大的孤独感时，是时候放下手机，约上身边的好朋友，出去坐坐，面对面的聊聊天，谈谈自己身边发生的有趣的事情，这样你才不会感到那么孤独，面对面的沟通与见面更具有色彩!
数据分析的行为要求
qq_74013365的博客
05-06 1194
数据分析人员应严格遵守相关的隐私法规和政策，确保处理的数据不被未经授权的人访问、修改或泄露。他们应采取必要的技术和安全措施来保护数据的机密性。对数据分析人员来说,遵守职业道德不只是一项伦理义务,也不只是一种自愿行为。而是一种法律义务,是一种强制性行为。数据分析人员应具有高度的社会责任感和自律意识,严格遵守法律法规、伦理道德和标准规范。
危害计算机信息网络安全是违法行为,通过收集和分析计算机系统或网络的关键节点信息，以发现网络或系统中是否有违反安全策略的行为和被攻击的迹...
weixin_28691741的博客
07-20 479
风吹春水皱♂(cnitpm.com) 09:53:54同志们看看这个风吹春水皱♂(cnitpm.com) 09:53:56通过收集和分析计算机系统或网络的关键节点信息，以发现网络或系统中是否有违反安全策略的行为和被攻击的迹象的技术被称为()A、系统检测B、系统分析C、系统审计D、入侵检测骏垚(cnitpm.com) 09:54:29D三年之约(cnitpm.com) 09:54:38IDS四川_小...
三创数据分析题库及个人作答
热门推荐
qq_51796436的博客
02-21 1万+
数据分析题目
驾驶危险行为识别
weixin_NineDays66
11-03 2184
智能驾舱行为识别
monkey日志分析
LilGaage的博客
11-23 7433
一、Monkey 日志详解 Monkey 日志由以下几部分组成： (1) 测试命令信息：随机种子 seed、运行次数、可运行应用列表、各事件百分比。 ​​​​​​​ (2) App 切换和 Activity 跳转：可以看到切换到了哪个 App，从哪个 Activity 跳转到了哪个 Activity，如果发生了异常，就可以看出是在哪个 App 和 Activity 中发生的。注：在允...
16种常用的数据分析方法-聚类分析
11-25 9570
聚类（Clustering）就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作簇。处于相同簇中的数据实例彼此相同，处于不同簇中的实例彼此不同。 聚类分析定义 聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。目的是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内相似性越大，组间差距越大，说明聚类效果越好。 聚类效果的好坏依赖于两个因素：1...
CDA-LEVEL 1-PART 1 数据分析概述与职业操守(3%)
lovebird_27的专栏
09-01 1555
一、数据分析概念、方法论、角色（占比1%) 1、数据分析基本概念（数据分析、数据挖掘、大数据) 数据分析 Data Analysis 是以数据为分析对象，以探索数据内的有用信息为主要途径，以解决业务需求为最终目标， 包含业务理解、数据采集、数据清洗、数据探索、数据可视化、数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。 数据挖掘 Data Mining 通常也被称为数据知识发现（KDD Knowledge Discovery in Database），是自动或方便地提取模.
【 数据分析概述与职业操守】——CDA level1
两条线-twolines
09-20 1316
CDAlevelI 数据分析概述与职业操守
违反行为分析
03-25
我们研究了在单个Cabibbo抑制的衰减D0→K +K-π0的相空间中，由两个中间共振K⁎（892）+和K⁎（892）-之间的干扰引起的CP违规。 在处理D0→K±K⁎（892）∓的衰减幅度时，我们采用分解辅助拓扑方法。...
基于深度学习算法的车辆违法行为智能分析.pdf
08-18
基于深度学习算法的车辆违法行为智能分析.pdf
福州市交通违法行为时空特征分析.docx
02-23
福州市交通违法行为时空特征分析.docx
建筑施工企业违法分包行为大数据分析.docx
07-14
建筑施工企业违法分包行为大数据分析.docx
00966 人力资源培训-企业劳动管理违法行为风险分析（PPT 30页）.ppt
08-18
00966 人力资源培训-企业劳动管理违法行为风险分析（PPT 30页）.ppt
毕业设计+编程项目实战+报名管理信息系统-基于ASP.NET技术(含完整源代码+开题报告+设计文档)
最新发布
06-02
一．系统运行必备环境： 1．软件环境：windows XP、Access 2003及以上版本、Excel 2003及其以上版本和.net FrameWork。 2．硬件环境：CPU要求PIII800及其以上，内存64M以上。 3．用户名:mere 密码:mere（未删除本记录条件下有效） 二．培训管理信息系统需要完成功能主要有： 1．系统管理 包括登陆、退出功能。 2．学生管理 包括报名、调班、延班、插班、退费等功能。 (1)报名：学生填写入学培训协议，录入人员依照协议将学生信息记入报名表和班级学生名册。 (2)调班：按照报名日期找出学生报名信息核对身份，在原来所报班级名册删除学生名字，在调班班级名册添加学生名字。 (3)延班：基本同上，按照报名日期找出学生报名信息核对身份，在原来所报班级名册删除学生名字，将该学生记入延班学生名册，以便调入新班级。 (4)插班：为了照顾关系单位的学生，特设置了插班的功能，可以根据需要设定学生学号。 (5)退费：根据培训机构实际情况有退费的实际需求，设置了全部退费和部分退费功能。 ①全部退费 按照报名日期找出学生报名信息核对身份，并依照协议判断用户是
130_基于JAVA的OA办公系统的设计与实现-源码.zip
06-02
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。
stm32驱动hx711源码分享 提供给大家学习
06-02
HX711是一款高精度、低成本的压力传感器信号放大器，主要用于测量微小变化的压力或重力信号。 本次使用STM32来驱动他 获得压力数据
xinit 程序用于在不使用显示管理器（如 xdm）的系统上启动 X Window 系统服务器和第一个客户端程序
06-02
xinit 程序用于在不使用显示管理器（如 xdm）的系统上启动 X Window 系统服务器和第一个客户端程序。
利用python对事故和违法行为两者进行相关性分析
03-09
利用Python可以使用相关性分析方法，如皮尔逊相关系数、斯皮尔曼等级相关系数等，来分析事故和违法行为之间的相关性。具体实现可以使用Python中的pandas、numpy、scipy等库来进行数据处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值