![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
初学
文章平均质量分 52
wangyu_qiuxue
这个作者很懒,什么都没留下…
展开
-
Flink特性
Flink特性一、统一的数据处理组件栈,不仅能处理流处理,还可以用于批处理,机器学习,可以满足不同的用户的需求,对不同形式的计算进行了整合。二、支持时间时间,接入时间,处理时间等时间概念。三、基于轻量级分布式快照实现容错(checkpoint)。四、有状态计算。可以将状态存储在HDFS,内存,RockDB。五、支持高度灵活的窗口,比如:session window,滚动窗口,滑动窗口等。六、反压,当下流算子处理不过来的时候,对上层算子的消费速度进行控制。七、基于JVM实现自己的内存管理。.原创 2021-01-23 13:28:19 · 232 阅读 · 0 评论 -
定期删除Hive表的过期数据
定期删除Hive表的过期数据由于Hive中有很多表都是每日全量的,数据量比较大,有些是可以将过去历史分区的数据进行删除的,所以需要一个定时执行的脚本,定时删除前七天的过期数据。注:此脚本只针对分区字段为日期类型#/bin/bashtoday=$(date +%Y-%m-%d)today_timestamp=$(date -d "$today" +%s)echo "获取今天日期:$today,今日日期的时间戳:$today_timestamp"detele_day=$(date -d "7 d原创 2020-12-28 17:25:42 · 2346 阅读 · 3 评论 -
SparkStreaming任务延迟监控
SparkStreaming延迟监控 这篇博客来源于一个惨痛的线上事故经历,我们编写好SparkStreaming程序清洗行为数据,然后每十分钟往Hive写一次,大家都以为任务正常的运行,不会出什么问题,然而问题正在后台默默的产生了,到了第二天,所有依赖于Hive这张行为数据表的报表数据都少了很多,这是为啥呢?为什么会有这个问题?答案:数据过多,Spark Streaming调度批次积压,再加上数据倾斜,导致一个批次任务运行时间超过了原来正常运行时间的二倍,数据延迟三个小时。 这种事故最快的解决原创 2020-12-28 16:48:03 · 907 阅读 · 0 评论 -
Linux环境下安装FLink1.10.0并启动SQL-client读取Hive1.2.1的数据
Linux环境下安装FLink1.10.0并启动SQL-client读取Hive数据首先去官网下载Flink1.10.0的tgz的包,教程如上篇文章上半部分流程一样,然后配置一下FLINK_HOME/conf/sql-client-defaults.yaml:catalogs: - name: myhive #自己定个名字就行 type: hive hive-co...原创 2020-04-06 19:08:12 · 2924 阅读 · 4 评论 -
Window10安装Flink1.10.0-大坑
Window10安装Flink1.10.0基本可以确定在window10安装Flink1.10.0启动时会出问题,特别恶心,目前无法修复,现在讲一讲我的踩坑经历。首先我们去官网下载压缩包,官网下载地址:https://flink.apache.org/downloads.html一步到位地址:http://archive.apache.org/dist/flink/flink-1.10.0/...原创 2020-04-06 18:30:04 · 5944 阅读 · 3 评论 -
Flink 1.10.0 读取并插入Hive1.2.1
FLink读取+插入Hive数据入坑指南Flink1.9以上版本可以使用hivecatalog读取Hive数据,但是1.9对于Hive的版本支持不太友好,只支持2.3.4和1.2.1,笔者用的Hive版本是比较老的版本1.2.1,FLink是1.10.0,接下来说一说我在读取Hive数据和插入Hive数据期间遇到的问题。本地环境:window10,Flink:1.10.0目的:用本地电脑ID...原创 2020-04-01 17:26:21 · 2753 阅读 · 1 评论 -
Flink1.9.1写入Hbase1.1.2
这次试手Flink从kafka读数据写入hbase,遇到了很大的坑1.我的程序是用Flink 1.9.1从本地kafka读取数据,写到本地hbase,本地zookeeper和kafka服务都起好了,开始运行程序,没有报错信息,就是一直读不到kafka的数据,在kafka生产者命令窗口都输入10条了,我想怎么还没开始读数据,我也没设置时间窗口啊,见鬼了答:这种问题99%都是因为你的kafka连接...原创 2020-03-11 19:19:00 · 692 阅读 · 0 评论 -
Linux crontab 定时删除服务七天前日志文件 文件名称格式: aaa.log2018_07_13_12
shell 脚本 思路: 1.获取当前时间 2.进入日志文件夹,获取日志文件 3.遍历文件把日期中的"_"改成"-",以便下边进行时间戳计算 4.时间戳计算 5.算出一周的秒数,与时间戳进行比较,大于的就是超过七天的,用if判断,进行选择性删除 注意:if语句的括号极容易出问题,...原创 2018-07-13 15:22:57 · 1345 阅读 · 0 评论 -
Linux 软件管理
软件包的安装和卸载Windows软件包:.exe、.msl、.setup,Windows的软件包不能安装到Linux中Linux里面安装软件,软件包是二进制的包rpm:rechat package manage/ rpm package manage源码包:包含软件代码的软件包在Linux操作系统中所有的外接存储设备,必须在挂载之后才能使用,挂载所使用的命令是mount:mount 挂载设备 挂载...原创 2018-06-26 18:23:17 · 157 阅读 · 0 评论 -
Linux Redhat7.4 用户管理
操作系统中一定是要有用户存在的用户一定是依赖用户组存在的1.用户及用户组管理配置文件:用户信息文件/home :存放普通用户的家目录/etc/passwd : 存放的是系统用户的信息本地系统的用户信息全都存放在/etc/passwd每一行记录了一个用户的信息,每一行由7列组成;每一列表示不同的信息,列于列之间用“:”隔开一列登录名root(username):二列密码密文x(passwd):三列用...原创 2018-06-23 13:32:17 · 4769 阅读 · 0 评论 -
Linux Redhat7.4 输出重定向,管道
1.输出重定向ls > gouzi自动创建gouzi并将ls的输出存入gouzi(正确的流用“>”覆盖,“>>”追加;错误的流用“2> 2>>重定向)eg:find/ -name qwe >> ~/findqwe.true 2>> /dev/null 将根目录下正确的qwe文件输出到根目录下的findqwe.true文件下,错误的...原创 2018-06-22 13:13:28 · 346 阅读 · 0 评论 -
Linux系统vim编辑器
vim编辑器vi编辑器->vim编辑器(有高亮色)四大模式:命令模式、编辑模式、末行模式、可视化模式使用vim操作文件之后,默认会进入命令模式命令模式->编辑模式:i或I,o或O,a或A 如果输入i进入编辑模式的光标就在原光标的左侧,如果输入I进入编辑模式的光标就在原光标所在行的最左侧;a和i相反,A和I相反(在右侧);o就是在原光标的下一行另起一行,O就是在原光标的上一行另起一行命令...原创 2018-06-22 13:04:50 · 176 阅读 · 0 评论 -
Linux操作系统简介 以及简单命令
1. Linux操作系统介绍伪终端:pts 控制台:tty “.”当前目录 “..”上级目录软连接:等于windows的快捷方式1.1.PC机结构层次:硬件H--内核K—shell壳—app—用户user(由低到高)1.2.Shell分类:CLI只包含命令行,GUI 包含图形界面1.3.Shell行:[root@wwDesktop ~]$ root:当前shell用户;@:分隔符; ww...原创 2018-06-22 12:51:52 · 300 阅读 · 0 评论