- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 java调用第三方api接口获取数据
弊端，但是并不是每个接口都适用于这套模板，之前写的接口不适用，都是在这个模板里做了定制处理（if 特殊表 -》处理），需要考虑兼容之前的代码，这种兼容代码，有风险会改掉之前的逻辑个人喜欢，有一个接口，写一段代码灵活自由些。2.还有一部分是对post请求的返回数据，做处理，因为json返回的格式如果双方没有约定好，里面数据是多层json嵌套，需要做处理。江同事交接的就是这个代码模板，可以看下源码调试一下，之前交接的视频，也可以看下，主要还是看代码理解快些，将 写好的代码达成jar包，上传到linux上去，
2024-01-17 15:13:55
704
原创 部署大数据组件，问题过程记录
init_iVAP_nacos.sql脚本 库名为 nacos 两者实为共用一个库。原因：数据库挂了，重启数据库 重启nacos 重启 可视化组件。查看日志 报错显示 jdk版本过低，重新安装jdk新版本。nacos初始化脚本 库名为nacos_config。这是由于提供的数据配置初始化sql脚本不一样，加上 -O CP936。
2024-01-17 12:58:47
394
原创 解决：10亿条数据，分区太多，T级数据量，数据执行失败
背景：最近想要抽出日志数据（1.3T左右），统计商品的pv，uv，收藏，加车，分享，销售数等等，根据这些信息加权，用于商品推荐。查看sparkui界面，发现数据分布在各台机器上比较均匀，但是shuffle read时间太长在查表时，执行不出来，我推测是由于分区数太多引起，并且数据量太大。解决：1.将数据按天去抽取到一张中间表里（1）可以建立一张表，不带分区，里面包含所有天的数据，然后where ds 按月 insert into 到表中，例如 ds >= 2020-01-01 and ds
2020-12-24 17:35:16
1041
1
原创 hive数据倾斜，非复制粘贴，确切实用
最近做宽表，insert overwrite table … select导入数据时，发生了数据倾斜情况通过ui界面看到，有一半的数据，都跑在了单个节点上，执行的时候，报错，11.3G超出物理内存限制的11G。百度搜了一下，hive数据倾斜，全部都是复制粘贴。。。内容都是那几句，空值过滤，设置mapjoin，负载均衡，空值时随机数分配，预聚合，上面该操作的，我都操作过了，依然无法解决。排查–引起数据倾斜的key我的解决方案是，首先找出产生数据倾斜的key值，在sparkUI界面上，看执行情况，
2020-12-11 17:56:11
201
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人