大数据
文章平均质量分 60
超短腿迪迦
超长腿迪迦Chl
展开
-
yum不可用
当使用yum命令安装xx时,出现“Cannot find a vaild baseurl for repo:base”的错误,通常意为着yum源配置不正确或网络连接问题。原创 2024-07-19 17:37:30 · 969 阅读 · 0 评论 -
Zeppelin安装
Zeppelin安装原创 2024-04-01 00:28:37 · 532 阅读 · 0 评论 -
Mysql->Hudi->Hive
抽取mysql数据到hudi并关联hive原创 2023-09-11 14:40:38 · 367 阅读 · 4 评论 -
【无标题】
4 hdfs cacheadmin -modifyPool -pool mycache -expiryMs 86400000设置缓存池过期时间为一天。org.apache.spark.serializer.KryoSerializer是Hudi所需的序列化器。2 hdfs getconf -confKey dfs.replication检查当前副本因子配置。3 hdfs cacheadmin -addPool mycache 添加缓存。hoodie. properties 文件有问题,去找好的替掉。原创 2023-09-10 11:01:24 · 565 阅读 · 0 评论 -
spark集成hudi
spark集成hudi原创 2023-09-09 11:03:48 · 462 阅读 · 0 评论 -
hive3.1.2初始化失败
hive初始化报错原创 2023-05-05 09:41:52 · 264 阅读 · 0 评论 -
ClickHouse
指定任意合法表达式数据partitionClickHouse支持PARTITION BY子句,在建表时可以指定按照任意合法表达式进行数据分区操作,比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。数据Partition在ClickHouse中主要有两方面应用:在partition key上进行分区裁剪,只查询必要的数据。原创 2023-04-12 21:53:17 · 335 阅读 · 0 评论 -
sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space
【代码】sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space。原创 2023-04-12 21:16:14 · 704 阅读 · 0 评论 -
Hbase使用
hbase一条龙原创 2023-04-06 20:32:36 · 123 阅读 · 0 评论 -
idea连接mysql版本更换(两种方法)
注意username会报错,用user。原创 2023-04-01 17:26:38 · 1098 阅读 · 0 评论 -
【已解决】idea连接hive3.1.2读取数据报错
将默认的IP访问改为域名访问的形式。原创 2023-04-01 16:21:41 · 405 阅读 · 0 评论 -
[已解决]往mysql导入数据乱码问题
[已解决]往mysql导入数据乱码问题原创 2023-03-29 16:03:04 · 221 阅读 · 0 评论 -
安装使用sqoop
sqoop安装及使用原创 2023-03-28 21:49:45 · 197 阅读 · 1 评论 -
java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)
Spark抽取数据(mysql->hive)报错原创 2023-03-28 10:30:21 · 203 阅读 · 0 评论 -
idea创建spark项目时,引入了SparkSession依赖,仍然报错,没有这个包
idea创建spark项目时,引入了SparkSession依赖,仍然报错,没有这个包原创 2023-03-01 11:50:28 · 818 阅读 · 0 评论 -
【解决】telent:未找到命令,使用yum install 显示没有可用的软件包
【解决】telent:未找到命令,使用yum install 显示没有可用的软件包原创 2023-02-19 00:11:06 · 1315 阅读 · 0 评论 -
mysql初始化失败及会出现的问题
The designated data directory D:\mysql-8.0.30-winx64\data\ is unusable. You can remove all files that the server added to it.2023-02-18T02:53:41.307522Z 0 [ERROR] [MY-010119] [Server] Aborting --initialize specified but the data directory has files in原创 2023-02-18 11:09:33 · 3185 阅读 · 0 评论 -
Hadoop和Hbase版本对应关系(参考官网)
Hadoop和Hbase版本对应关系(参考官网)原创 2023-02-13 17:10:24 · 7707 阅读 · 0 评论 -
Spark-shell报error: not found错误
Spark-shell报error: not found错误原创 2023-02-13 00:17:01 · 554 阅读 · 0 评论 -
java.io.EOFException: End of File Exception between local host is: “master/192.168.128.130“; destina
java.io.EOFException: End of File Exception between local host is: "master/192.168.128.130"; destina原创 2023-02-12 23:13:09 · 1215 阅读 · 0 评论 -
当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running
【已解决】当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running原创 2023-02-08 04:10:48 · 3169 阅读 · 0 评论