- 博客(15)
- 收藏
- 关注
RSS订阅原创 spark报错：Can‘t get JDBC type for array＜int＞
在spark中使用jdbc保存数据到ck报错Can't get JDBC type for array，是因为有一个字段是array。1、使用printSchema()查看数据是否与目标格式一样。与数据表中的字段类型int64不匹配。
2024-01-05 11:46:59
468
1
原创 【Hive面试题】（1.68M）
-一个Common Join operator转为Map Join operator的判断条件,若该Common Join相关的表中,存在n-1张表的已知大小总和<=该值,则生成一个Map Join计划,此时可能存在多种n-1张表的组合均满足该条件,则hive会为每种满足条件的组合均生成一个Map Join计划,同时还会保留原有的Common Join计划作为后备(back up)计划,实际运行时,优先执行Map Join计划，若不能执行成功，则启动Common Join后备计划。
2023-11-01 13:15:09
49
1
原创 【Redis面试题】（1.2M）
在一些极端情况下，仍然可能会出现误判，但通过合理的配置和定期维护，可以降低误判的概率，从而提高系统的性能和可用性。还有一个好处就是，在高并发下，一个业务有可能会执行很快，先客户1持有锁的时候，客户2来了以后并不会马上拒绝，它会自旋不断尝试获取锁，如果客户1释放之后，客户2就可以马上持有锁，性能也得到了提升。在Redis6.0之后，为了提升更好的性能，在命令回复处理器使用了多线程来处理回复事件，在命令请求处理器中，将命令的转换使用了多线程，增加命令转换速度，在命令执行的时候，依然是单线程）
2023-11-01 02:25:27
34
1
原创 在linux安装mysql后，执行grep “password“ /var/log/mysqld.log，找不到默认密码
解决MySQL安装bug：在linux安装mysql后，执行grep "password" /var/log/mysqld.log，找不到默认密码
2023-10-30 22:35:19
1517
4
原创 Flume安装部署及使用
Aapche Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件，网址： http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。
2023-10-27 18:13:00
209
原创 Sqoop安装部署及使用
sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具；sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop and hadoop-->SQL数据导入导出:数据导入: RDBMS-->hadoop数据导出: hadoop-->RDBMS。
2023-10-27 17:06:29
133
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人