- 博客(11)
- 收藏
- 关注
RSS订阅原创 Flink窗口源码解析
标题Flink 窗口函数介绍以及源码解析流式计算是一种被设计用来处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的，本质上无限的数据集。而Window 窗口是一种切割无限数据集为有限块进行处理的手段。Window 是无限数据流处理的核心，Window 将一个无限的stream 切分成有限个小的“bucket” 桶，我们可以基于这些桶做计算操作。Flink Windows 主要分2类1.TimeWindow （根据实现原理又可以分3类）TumblingWindow 滚动窗口将数据依
2020-11-24 11:09:42
817
原创 xargs命令在linux运维开发中的使用
xargs命令在运维开发中使用在集群运维开发过程中，根据实际开发场景，我们经常会需要大量文件做批处理操作，无论是linux本地上的，还是hdfs上的文件，我们都可以用xargs 命令对其逐一处理。这里xargs命令更多的可以当作是运维开发过程中的一个小工具，快速对批文件做DIY处理，非常灵活。ref21xargs 命令xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具，它是构建单行命令的重要组件之一。xargs的默认命令是echo，空格是默认定界符。常用功能：1.输出的数
2020-08-01 17:36:22
178
原创 安装CDH，HDP，CDP遇到的坑大全，不定期维护更新。。。。。。
1.在mysql中创建cm库，遇到 Access denied for user ‘root’@'hadoop101解决：修改MySQL的root用户的密码以及打开远程连接mysql>use mysql;mysql>desc user;mysql>GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "hadoop"...
2019-07-05 22:44:13
3554
原创 安装mysql极简操作
Mysql安装安装包准备1.查看mysql是否安装，如果安装，卸载mysql[root@192.168.0.1]rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64[root@192.168.0.1]rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642.准备相应的文件并赋予744权限[root@1...
2019-06-09 00:04:14
235
原创 scala中关于List使用的一个需求
需求： 有这么一堆数据，我们需要巴拉巴拉巴拉，总而言之，把每一行数据抽象为List（A,B,C,D,E,F),我们希望以A-B,A-C,A-D,A-E,A-F为维度进行统计。应用场景eg：页面跳转突破点：List集合的运算，zip拉链操作val list = List("A","B","C","D","E","F")val list_tail = list.tai...
2019-05-30 22:06:01
125
原创 hdp集群数据迁移
hdp集群数据迁移由于公司大数据平台建设升级调整，需要把开发集群（hdp 2.6）上的数据迁移到生产集群（hdp3.1），所以我们需要做历史数据迁移。准备工作就不说了，这里直接上迁移方案！目前方案有两种，第一种是采用distcp命令，直接将开发集群上的hdfs中的数据迁移到生产集群上，第二种采用scp命令，将开发集群上的数据hdfs dfs -get到本地，然后把数据从开发本地scp到生产集群...
2019-05-03 01:08:42
764
原创 Java面试题之List，Set和Map集合总结大全
常见集合总结ps：总结不易，转载请注明出处 —Mr.Song----| Iterable----------------| Collection 【描述所有集合共性的接口】-------------------------------| List接口 【有序，可以重复，有角标的集合】-------------------------------------------&...
2018-12-28 23:34:14
5220
原创 数仓之事实表和维度表（一）
事实表：事务事实表：（->明细事实表->聚合事实表）记录的是事务层面的事实，保存的是最原子的数据，也叫做“原子事实表”。事务事实表中的数据在事务事件发生后产生，数据的粒度通常是每个事务一条记录。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。明细事实表（单事件事实表，流程事实表）： 一般位于DWD层，该层事实表设计不进行聚合，汇总等动作，仅做数据规范化...
2018-12-27 16:47:53
10860
转载 将mysql数据从window迁移到linux中
1、先在windows上将数据都导出一个文件。（这里以某个数据库为例）2、将数据从Windows拷贝到Linux中。这里我们可以通过XSHELL和XFTP工具实现，将从window下mysql中导出的数据拖拉到linux目录中3、登录Linux的MySql数据库4、创建与windows同名的数据库名。5、导入数据6、查看结果...
2018-12-27 13:41:36
566
原创 使用Sqoop发现hcatalog-does-not-exist和table-does-not-exist
前置背景昨天天气挺好的，恰同学来京玩，我陪他去故宫溜达了一圈，话说每次同学来京，我都会陪他们去故宫游玩，多次有余。对于故宫，我早已没有最初的新鲜感，同学倒是不亦乐乎， 到处拍照留恋，吊古感今。不过有意思的是，今年的延禧攻略火了，然后我今天我也在故宫留意到了这个叫做延禧宫的宫殿，宫殿不大，有欧式建筑，我最后再附图。好了不多说了，干正事！晚上我在家准备用Sqoop把mysql数据库中的一些数据导入...
2018-12-27 13:20:44
3791
转载 Hive建表语句相关浅析
建表语句如下：--------------------------------LZO类型--------------------------------------CREATE EXTERNAL TABLE app.app_aab_z1602_deliver_analysis(shop_id bigint COMMENT ‘店铺编号’,stat_ct bigint COMMENT ‘统计周...
2018-12-02 16:57:52
1470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人