- 博客(10)
- 收藏
- 关注
RSS订阅原创 Flink任务提交流程（Standalone和Yarn）
一、任务提交流程（Standalone)1）App程序通过rest接口提交给Dispatcher（rest接口是跨平台，并且可以直接穿过防火墙，不需考虑拦截）。2）Dispatcher把JobManager进程启动，把应用交给JobManager。3）JobManager拿到应用后，向ResourceManager申请资源（slots），ResouceManager会启动对应的TaskManager进程，TaskManager空闲的slots会向ResourceManager注册。4）Re
2021-07-21 10:37:02
1419
转载 Flink Watermark
这一次带你彻底搞懂背景我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络延迟等原因，导致乱序的产生，特别是使用kafka的话，多个分区的数据无法保证有序。那么此时出现一个问题，一旦出现乱序，如果只根据 eventTime 决定 window 的运行，我们不能明确数据是否全部到位，又不能无限期的等下去，必须要有个机制来保证一个特定的时间后，必须触发window去
2021-06-01 16:34:38
167
转载 如何修改git已提交记录的邮箱
有时候，公司提交的代码必须使用公司邮箱，而你误操作，直接把自己个人邮箱提交上去了，此时你就会遇到这样的需求：如何修改git已提交的邮箱？而这个需求对于新手来说，往往要花费半天的时间才能理解修改过程，简直太傻比了，所以我这里做一个详细的文档来帮助自己和你搞清楚这个流程。尤其要理解变基，它不是一个命令执行就完成了，而是一连串命令的组合。步骤1：变基git rebase -i 执行后，会打开最近一条的提交记录，当然上面的命令可以指定某一条记录，命令是：git rebase -i "...
2020-05-11 10:51:20
471
转载 git如何合并多个commits
git如何合并多个commits使用场景在分支开发的时候，我们经常会在分支上有多个commit，然而在最后开发完成合并到主干(或者发布分支)的时候，我们希望能把这些commit合并成一个，这样在主干看来只做了一次commit，因为在开发分支上有些时候只有一点点改动就产生了一个commit，合并到主干后会显得commit过多过于零散。第0步切换到你的分支$ git checkout <branchname>第一步找出你的commits$ git lo.
2020-05-10 13:08:50
481
原创 记一次Hive报java.lang.StackOverflowError错误
hive查询时where条件中in后面跟了很多的字符串，导致报错java.lang.StackOverflowError，但是我在别的表加上相同长度条件就不会报错。后来发现是parquet文件类型会报错。改变文件类型或者把数据导入到hive表中关联查询可以解决...
2020-03-11 11:45:38
1788
原创 maven依赖 导致的java.lang.NoClassDefFoundError
运行类突然报java.lang.NoClassDefFoundError，只要是使用了maven依赖的jar包，都报这个错误。最后发现是pom中加上了scope限制provided（已提供范围）provided依赖只有在当JDK或者一个容器已提供该依赖之后才使用。例如，如果你开发了一个web应用，你可能在编译classpath中需要可用的Servlet API来编译...
2019-07-04 20:42:07
6081
2
原创 记一次java.lang.OutOfMemoryError: unable to create new native thread问题
系统报出错误ava.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create new native thread at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:208) ...
2019-03-08 19:10:24
836
转载 hive split使用的注意点
摘自 https://blog.csdn.net/lxpbs8851/article/details/18712407特殊字符的处理：特殊分割符号regex 为字符串匹配的参数，所以遇到特殊字符的时候需要做特殊的处理例3: "." 点split('192.168.0.1','.')得到的结果：[] 正确的写法：split('192.168.0.1','\\...
2018-09-12 17:44:41
1101
原创 将文件中数据源导入到关联了hbase表的hive表中
因为数据是从线上服务器中hbase中直接导出来，需要导到测试服务器中进行功能测试。所以这个数据文件可以直接使用hbase自带的命令脚本hbase org.apache.hadoop.hbase.mapreduce.Import extract.user_recharge_repay_hour /user/zhouhao/tmp/part-m-hour最后最后面接的目录需要是hdfs上的目录...
2018-08-16 14:33:09
310
原创 sqoop 将数据从hive导到mysql中出现的问题
sqoop版本为1.4.6 一开始使用指定hdfs目录的sqoop脚本导数据sqoop export \ --connect jdbc:mysql://172.16.2.52:4307/databasename \ --username user \ --password pass \ --table tablename \ --export-dir /user/hive/warehous...
2018-06-08 12:54:52
1183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人