- 博客(3)
- 收藏
- 关注
RSS订阅原创 filebeat日志收集至ES，索引生命周期为一个月
/1、ES创建创建删除索引策略PUT _ilm/policy/log_delete_policy{ "policy": { "phases": { "delete": { "min_age": "30d", "actions": { "delete": {} } } } }}2、创建索引模板关联删除PUT _template/logs_template{ "index_pat...
2021-08-20 10:01:31
1773
原创 hive2.1.1+spark3.0+iceberg踩坑日记
1、sparkSQL3.0支持iceberg需要引入iceberg-spark3-runtime jar包 iceberg-spark3-runtime-0.11.1.jar 下载地址http://iceberg.apache.org/releases/2、修改conf/spark-default.conf文件添加默认iceberg catalog # hive metastore的版本设置为 2.1.1 spark.sql.hive.metastore.version=2...
2021-08-10 14:59:44
4241
10
原创 flinkSQL+kafka+iceberg
基于flinkSQL+kafka+iceberg的测试。参考的链接是：https://www.icode9.com/content-4-827451.html基于文档将测试中踩过的坑给详细的记录一下。1、flinkSQL要支持iceberg和hive需要引进两个jar包，将两个jar包放至flink lib目录下。 iceberg-flink-runtime-0.11.1.jar flink-sql-connector-hive-2.2.0_2.11-1.11.3.jar2、编辑flink...
2021-07-27 11:03:39
1787
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人