无奈小秃头
码龄4年
关注
提问 私信
  • 博客:5,329
    5,329
    总访问量
  • 6
    原创
  • 196,204
    排名
  • 44
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河南省
  • 加入CSDN时间: 2021-05-17
博客简介:

qq_58355375的博客

查看详细资料
  • 原力等级
    当前等级
    1
    当前总分
    60
    当月
    0
个人成就
  • 获得51次点赞
  • 内容获得0次评论
  • 获得65次收藏
创作历程
  • 6篇
    2024年
成就勋章
兴趣领域 设置
  • Python
    pythonflask
  • Java
    java
  • 编程语言
    pythonjavac语言
  • 大数据
    jsonsqldatabasemysqlhbasehadoophiveredismongodbzookeepersparkflumeelasticsearch数据库
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

time.strftime()和time.strptime()的区分

strftime()从时间元组或对象生成格式化的字符串。strptime()将格式化的字符串解析为时间元组对象。用法建议使用strftime()当你需要将日期时间对象格式化为特定的字符串时,比如用于输出或者日志记录。使用strptime()当你需要从给定格式的日期时间字符串中提取和处理日期时间信息时,比如解析用户输入或外部数据源中的日期时间字符串。通过理解这两个函数的区别和用法,你可以更有效地处理日期时间的格式化和解析需求。
原创
发布博客 2024.07.13 ·
583 阅读 ·
4 点赞 ·
0 评论 ·
1 收藏

hive数据采集零点漂移

这个时候数据写入的目录就和系统时间有关系。解决方案是采用自定义flume的拦截器,将数据中的 事件时间(也就是数据生成的实际时间)解析出来,存储到headers里面,key是timestamp,value是解析出来的事件时间,将useLocalTimeStamp配置为false, 最终数据就会写入事件时间对应的目录,这样就能解决零点漂移。1.如果采集的数据是23:59:10产生的,结果超过00:00:00才被抽取到服务器上,那么就会导致这样的数据进入到第二天,进而导致数据分析的不准确,这就是零点漂移。
原创
发布博客 2024.07.03 ·
954 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

hive数仓建模使用拉链表的好处及如何构建拉链表

综上所述,Hive数仓建模中使用拉链表的主要原因包括历史数据追踪与快照查询、节省存储空间、查询性能优化、支持复杂的数据分析需求以及易于维护和管理等方面。这些优点使得拉链表成为数据仓库设计中不可或缺的一部分,特别是在处理大规模、高频率更新的数据集时。
原创
发布博客 2024.07.02 ·
868 阅读 ·
9 点赞 ·
0 评论 ·
18 收藏

hive数仓分层

从ODS层到ADS层,Hive的数据仓库架构形成了一个清晰、高效的数据处理和分析流程。ODS层提供了原始数据的存储;DWD层对数据进行清洗和规范化;DIM层提供了维度数据;DWS层整合了数据并提供了高度汇总的数据;最后,ADS层将数据提供给数据产品和数据分析使用。这个流程确保了数据的高效处理和分析,为业务决策提供了有力的支持。
原创
发布博客 2024.07.01 ·
756 阅读 ·
5 点赞 ·
0 评论 ·
9 收藏

hive安装报错

解决方案:在hive-site.xml里面为URL增加一个参数。然后就能重启hive就能正常打开了。
原创
发布博客 2024.07.01 ·
220 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

Java基础

​ 通过Java语言编写的应用程序在不同的系统平台上都可以运行​ 因为有了JVM,所以同一个Java程序在三个不同的操作系统中都可以执行。这样就实现了Java程序的可移植性。也称为Java具有良好的跨平台性。
原创
发布博客 2024.06.29 ·
1948 阅读 ·
27 点赞 ·
0 评论 ·
37 收藏