大数据_小白
码龄9年
关注
提问 私信
  • 博客:8,207
    8,207
    总访问量
  • 3
    原创
  • 709,609
    排名
  • 2
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:湖南省
  • 加入CSDN时间: 2015-12-23
博客简介:

qq_33476283的博客

查看详细资料
个人成就
  • 获得5次点赞
  • 内容获得11次评论
  • 获得13次收藏
创作历程
  • 3篇
    2021年
成就勋章
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

filebeat日志收集至ES,索引生命周期为一个月

/1、ES创建创建删除索引策略PUT _ilm/policy/log_delete_policy{ "policy": { "phases": { "delete": { "min_age": "30d", "actions": { "delete": {} } } } }}2、创建索引模板关联删除PUT _template/logs_template{ "index_pat...
原创
发布博客 2021.08.20 ·
1857 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

hive2.1.1+spark3.0+iceberg踩坑日记

1、sparkSQL3.0支持iceberg需要引入iceberg-spark3-runtime jar包 iceberg-spark3-runtime-0.11.1.jar 下载地址http://iceberg.apache.org/releases/2、修改conf/spark-default.conf文件添加默认iceberg catalog # hive metastore的版本设置为 2.1.1 spark.sql.hive.metastore.version=2...
原创
发布博客 2021.08.10 ·
4340 阅读 ·
3 点赞 ·
10 评论 ·
8 收藏

flinkSQL+kafka+iceberg

基于flinkSQL+kafka+iceberg的测试。参考的链接是:https://www.icode9.com/content-4-827451.html基于文档将测试中踩过的坑给详细的记录一下。1、flinkSQL要支持iceberg和hive需要引进两个jar包,将两个jar包放至flink lib目录下。 iceberg-flink-runtime-0.11.1.jar flink-sql-connector-hive-2.2.0_2.11-1.11.3.jar2、编辑flink...
原创
发布博客 2021.07.27 ·
1809 阅读 ·
1 点赞 ·
1 评论 ·
4 收藏