大数据
文章平均质量分 62
以大数据的存储Hadoop生态与spark、flink生态计算为主,记录相关的学习与工作上的应用实践
苹榆枫
这个作者很懒,什么都没留下…
展开
-
【Spark | SparkStreaming】
SprakStream的实战原创 2022-11-03 22:10:40 · 735 阅读 · 0 评论 -
【Spark | RDD】架构及算子的基本认识
Spark 架构及|RDD算子的基本认识原创 2022-11-03 10:10:24 · 335 阅读 · 0 评论 -
【Spark | SparkSQL】
SparkSQL的认识与数据加载原创 2022-11-03 10:08:13 · 424 阅读 · 0 评论 -
【hadoop | hive 搭建】hive的使用配置搭建
hive的使用配置搭建。仅基于官方的方式搭建,仍为hive on mr原创 2022-08-08 00:15:26 · 1124 阅读 · 0 评论 -
【hadoop | hive】hive on spark教程
hive on spark教程原创 2022-08-08 00:06:28 · 1374 阅读 · 0 评论 -
【hadoop | hive重编译lib区别】比较hive3.1.2重新编译兼容spark3.1.2的lib区别
比较hive3.1.2重新编译兼容spark3.1.2的lib区别原创 2022-08-07 23:42:58 · 653 阅读 · 0 评论 -
【hadoop | hive 问题】hive on spark问题记录
hive on spark问题记录原创 2022-08-06 13:54:52 · 1684 阅读 · 1 评论 -
The authentication type 10 is not supported
Hive postgresql The authentication type 10 is not supported原创 2022-07-26 15:09:52 · 3770 阅读 · 0 评论 -
hadoop集群:关于Could not obtain block:报错问题
hadoop集群关于Couldnotobtainblock报错问题。原创 2022-07-26 10:18:21 · 1335 阅读 · 0 评论 -
win IDEA debug spark连接远程spark集群执行结果记录
linux spark cluster:spark-masterspark-worker-1win开发环境下运行spark连接到cluster,但是debug模式下,在配置conf下可以成功连接执行,但是感觉不成功。结果如下:2022-01-20 14:04:58,428 INFO worker.ExecutorRunner: Launch command: "/usr/lib/jvm/java-8-openjdk-amd64//bin/java" "-cp" "/mnt/geoSpark/*:/原创 2022-01-20 22:15:32 · 1559 阅读 · 0 评论 -
hadoop-auth NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism
hadoop 3.2.1hbase 2.3.7spark 3.2.0pom hadoop-auth是由hbase默认导入的2.10.0版本,更新导入版本3.2.1Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.原创 2022-01-20 14:32:42 · 2527 阅读 · 0 评论 -
HDFS、ceph和minIO存储方案调研
ceph和minIO存储方案如何选择?minio接口文档ceph和hdfs分布式文件系统的对比 HDFS VS Ceph三驾马车已去,再论Hadoop已是凉凉S3FS 挂载MINIO为本地文件系统TODO: 总结原创 2022-01-07 14:50:21 · 4573 阅读 · 0 评论 -
docker 启动ceph osd报异常auth: unable to find a keyring on /var/lib/ceph/bootstrap-osd/ceph.keyring
启动osd出现错误root@AI-03:/home/work/ceph-cluster# docker-compose -f docker-compose-ceph-prod.yml logs osd1Attaching to ceph-cluster_osd1_1osd1_1 | 2021-12-02 14:23:29 /opt/ceph-container/bin/entrypoint.sh: static: does not generate configosd1_1 | 2021-12原创 2021-12-03 11:19:34 · 5184 阅读 · 1 评论