- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Kafka解耦原理浅析
一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source只流向Kafka2.所有target只从Kafka中取数据3.系统高度解耦，系统复杂度4*1*2=84.开发和维护升级成本显著降低三、传统架构对比Kafka架构复杂度...
2020-05-31 16:25:22
2840
原创 第一篇 jvm历史+手动编译openjdk12源码
JVM虚拟机笔记第一章 jvm历史1.1 起源1995 oak2010 Oracle接管2019 java131.2 分支Open JDKOracle JDK1.3 优点一次编写，到处运行内存动管理1.4 JDK JRE JVM[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iQWydI3Y-1590745639549)(JVM%E8%99%9A%E6%8B%9F%E6%9C%BA%E7%AC%94%E8%AE%B0.assets/Snipaste_2
2020-05-29 17:58:53
364
原创 Hive SQL 使用不了union all : SemanticException Cartesian products are disabled for safety reasons
报错信息：SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: SemanticException Cartesian products are disabled for safety reasons. If you know what you are doing, please sethive.strict.checks.cartesian.product to false and that hive.mapred.mode
2020-05-29 00:32:58
1785
2
原创 kafka:Failed to add leader for partitions（暴力解决）
问题描述：报错信息：Failed to add leader for partitions原因：kafka无法选举leader解决方案：1.修改IO并发数，删除所有topic 所在的文件夹2.删除zookeeper中节点3.重启zookeeper和kafka即可
2020-05-19 05:01:39
2652
原创 安装phoenix后hive启动失败
1.问题描述：启动hive报错无法启动*Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer;*2.原因：由于hive和phoebix的jar包冲突导致3.解决方案：删除hive/lib下的icu4j-4.8.1.jar即可，这样就可以了！...
2020-05-18 13:37:58
343
原创 kafka默认分区数设置
每次创建topic都要修改分区数很麻烦，其实集群配置固定的情况下，完全可以根据集群CPU核数，设置最优的分区数。例如我的集群部署在虚拟机里，我的笔记本12核cpu,就可以设置默认分区12，以后每次创建topic都是12个分区。...
2020-05-16 03:14:07
11200
3
原创 kafka集群启动失败
原因：在修改了server.properties配置文件后，直接分发集群，导致集群节点只有一个。解决方案：重新给集群每个节点的broker id 赋值0 1 2…即可解决
2020-05-16 02:56:38
1152
原创 IDEA加载大文件时报错:The file size exceeds configured limit
问题描述：The file size exceeds configured limit1.配置一下idea.properties文件idea.max.intellisense.filesize=500002.重启idea即可解决
2020-05-14 23:39:13
17603
原创 DBeaver连接hive2血泪史
1.前提（1）已经安装好DBeaver和hive（2）已经启动Hiveserver2和hadoop2.连接新建连接2.配置连接编辑驱动步骤3坑多请注意：（1）建议不要去在线仓库下载驱动，大概率会失败！！！（2）建议直接使用hive跟目下jdbc中的jar包以添加文件方式加载到驱动列表，如上图所示！！！（3）执意去在线下载，说明客官你网好时间多！！！（4）如果报错：拒绝用户连接，请检查hadoop配置文件core-site.xml是否配置好权限！！！4.测试连
2020-05-11 10:48:54
3558
2
python310 安装geopandans所需依赖库：GDAL、Shapely、Fiona
2024-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人