- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 [HDFS]hdfs租约--我们flink写hdfs做checkpoint时候失败导致文件缺失
文件实际是写完的，因为checkpoint做失败了，导致文件没有被hdfs计算在内。我们用flink 写入到hdfs，报错信息会提示replicas副本数量不足。hdfs元信息里面记录的文件大小和实际落地的文件大小不一致。导致hive的任务只获取到一部分数据。这种情况很偶发，认为是hdfs集群负载过高导致。解决：加上flink任务状态和错误日志的监控，出现问题告警。但是实际上是因为checkpoint 失败，导致hdfs租约失败。比如一个20k的文件，写到5k的时候，元数
2021-07-29 00:15:18
1277
原创 写给自己的话与目标
其实大概6月底第一波裁员的时候，就决定要刷题了。但是很难坚持下去，人都是有惰性的。但是现在已经被裁掉了，那么就要承担的对应的风险。1. 每天刷题至少3道Mid优先看一下链表和tree，种类少，多刷一下；之后突破数组类型的题。2. spark 和 flink和mr3. hive4.hadoop5. java的各种面试题jvm ，锁，内存模型，juc6. mysql的各种内容...
2021-07-29 00:05:43
116
1
原创 [mysql]查看数据库状态data的大小和index大小的语句
SELECT TABLE_SCHEMA AS database_name, TABLE_NAME AS table_name, TABLE_ROWS AS table_rows, ENGINE AS table_engine, ROUND(( DATA_LENGTH )/ 1024.0 / 1024, 2 ) AS Data_MB, ROUND(( INDEX_LENGTH )/ 1024.0 / 1024, 2 ) AS Index_MB, ROUND(( DATA_LENGTH + IN.
2021-07-23 14:21:20
331
原创 [flink-sink]BucketingSink写文件会有pending状态
flink在1.8版本，我们使用了package org.apache.flink.streaming.connectors.fs.bucketing;遇到了坑：flink在写文件的时候，正在写的文件是：.in-progress结尾的；如果写完了，会有一个.pending的状态，会等checkpoint之后，才会将文件_开头的文件 正式转为非_开头的数据。hive在读数据的时候，不会读取_开头的数据！所以非常偶尔会有数据缺失的bug，比如我们任务merge任务已
2021-07-20 11:55:55
1033
原创 [mysql]设置数据库查询的超时时间
默认是：5.7：set max_execution_time=0；5.6：set max_statement_time=0；但是呢，也是要看mysql的版本的；Mysql版本查看的方式：select version();5.7 和5.6是大版本变化；查看有没有这个时间:show variables like 'max_execution_time';5.6和5.7的变化：mysql 5.6 及以后，有语句执行超时时间变量，用于在服务端
2021-07-02 14:41:20
12592
dubbo快速上手入门demo
2020-09-23
myeclipse 2017 官方版本激活 支持CI7
2018-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人