CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

于 2024-08-10 08:59:08 发布
阅读量8 收藏
点赞数
分类专栏： 大数据故障 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43566162/article/details/141085739
版权

原因：

原来使用的是aliyun-sdk-oss-2.8.3.jar，后来调查因为阿里的JindoFS SDK针对oss做了加速缓存，就替换成jindofs-sdk.jar，然后使用hadoop  distcp复制数据到oss的时候报错如下：

hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj_os/tp_device/* oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/kstj_os/tp_device

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

解决方案：

各个节点上传jindofs-sdk.jar到/root/目录下

使用以下命令复制到目录：

cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-mapreduce/
cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/lib/
cp jindofs-sdk.jar  /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-ya
了解本专栏 订阅专栏 解锁全文 超级会员免费看
拾八闲客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
博客
hue无法执行批处理作业解决方案
08-10 17
提示hdfs的/user/oozie/share/lib目录不存在，原因是因为没有安装oozie的共享库。点击oozie角色，操作中点击安装oozie共享库。在执行批处理作业的时候，报作业为FAILED状态。查看执行的过程中发现：oozie的问题。脚本中没有报错，问题得到解决。
博客
dolphinscheduler版本差异的配置造成的故障处理
08-10 24
dolphinscheduler1.3.4的common.properties的配置。dolphinscheduler1.3.8的common.properties的配置。下面的这个配置成%s,因为代码中隐藏了，不然无法获取到yarn的任务状态信息。下面的这个配置中8088直接在配置成端口即可。1.3.8改了配置之后任务正常，如下。
博客
Doris 数仓使用规范（经验版）
08-10 15
对于历史数据，如果数据量比较小我们可以创建历史分区（比如年分区，月分区），将所有历史数据放到对应分区里。类似这样通过Hint方式去设置Session 会话变量，不要设置全局的系统变量。【强制】数据库字符集指定utf-8，并且只支持utf-8。4. 使用PrepareStatement模板。
博客
Kudu_tool备份还原使用文档
08-10 362
Kudu表数据和hive表数据进行从阿里云迁移到私有云，数据300G需要进行迁移，固编写了此工具方便运维使用进行迁移Kudu表数据和hive表数据。
博客
xCat部署及分发操作系统
08-09 83
一、环境准备此次安装部署均在VMware虚拟机上运行。系统采用通用稳定的centos7系统，移植到其他(linux)系统应该问题不大。软件服务器的VMware虚拟机的创建部分就跳过了.注意事项：1.虚拟机的网络采用NAT模式2.虚拟的DHCP关闭，否则和xcat的DHCP冲突2.2系统内核优化，使用脚本优化(管理节点操作)2.3配置主机名（管理节点操作）2.4禁用防火墙三、部署NTP时间服务器1.NTP服务端+客户端crontab定时器定时执行ntpdate同步时间2.NTP服务端
博客
CDH集成Paimon+flink+hive的测试联调
08-08 1039
Apache Paimon是一种湖格式，可以通过Flink和Spark构建实时Lakehouse架构，用于流式和批处理操作。Paimon创新地结合了湖格式和LSM（日志结构合并树）结构，将实时流式更新引入湖架构。
博客
高性能计算收藏
08-08 192
- Slurm资源管理与作业调度系统HA高可用配置。-- Slurm资源管理与作业调度系统安装配置。-- Linux高性能计算集群配置。-- Slurm作业管理系统使用。-- slurm文档集。
博客
使用python监控HDFS文件的增量【优化中】
08-04 194
3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。3、每天计算文件大小，参考：hdfs_path_Monitor_day.py。3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。
博客
CDH的CM金丝雀Canary报错
08-04 416
Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。Hive Metastore canary 创建 hue hdfs 主目录失败。2）hdfs datanode是否健康，磁盘空间是否空闲，可自行上传文件测试。如果都确认过还报错，请重启cloudera-scm-server。3）根据错误提示查看目录权限，如果有问题，改为777。1）hdfs是否处于safemode，正常是off。CM金丝雀Canary报错。1 HDFS 金丝雀。
博客
hive 查看表权限命令行 hive 查询表权限
08-04 195
4、 查看当前具有的角色。7、查看某用户的所有角色。2、删除用户acl权限。3、删除所有acl权限。5、查看所有存在的角色。
博客
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
08-04 360
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
博客
Slurm集群部署
07-31 600
同时，MUNGE的高效性保证了认证过程不会成为系统性能的瓶颈，使得SLURM能够在大规模集群中高效运行。通过NIS，系统管理员可以在一个中心位置管理用户账户和配置文件，简化了跨多个系统的用户管理工作，提高了网络的可维护性和安全性。MUNGE（MUNGE Uid ‘N’ Gid Emporium）是一种用于认证的工具，特别设计用于在分布式系统中验证用户的身份。在SLURM环境中，NIS通过集中管理用户账户和权限，确保在整个计算集群中用户身份的一致性，简化了用户管理，减少了维护成本。
博客
Kudu_tool备份还原使用文档
07-28 123
Kudu表数据和hive表数据进行从阿里云迁移到私有云，数据300G需要进行迁移，固编写了此工具方便运维使用进行迁移Kudu表数据和hive表数据。
博客
Clickhouse服务器CPU 99.99%的处理过程
07-28 261
查看报错日志，查询的数据大于max blokc的原因导到的，主要是因查询进入了死循环的状态了。进入服务器，查询正在执行任务的语句。
博客
生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程
07-28 463
1.要多看报错的内容,根据报错的内容一步步的修复2.保证有一台namenode是可用的3.保证各个组件的元数据库是正常使用的.4.修复的时候要胆大心细,操作之前要写好操作方案去实施,不然思路上不清晰,修复起来会出现各种问题5.修复之前要针对元数据库和组件分布到各个主机上要做好备份。
博客
HDFS清理Tarsh的脚本
07-25 23
【代码】HDFS清理Tarsh的脚本。
博客
Hadoop健康检查脚本
07-25 135
【代码】Hadoop健康检查脚本。
博客
Centos7禁用THP（Transparent HugePages）(大数据要关闭此项)
07-24 311
开启THP精髓是提高内存分配效率，减少CPU SYS开销。如果输出结果为[always]表示透明大页启用了。[never]表示透明大页禁用、[madvise]表示（只在MADV_HUGEPAGE标志的VMA中使用THP这个状态就说明都是启用的。3、永久禁用THP(Transparent HugePages )编辑rc.local文件：4、保存退出，然后赋予rc.local文件执行权限：5、最后重启系统，以后再检查THP应该就是被禁用了6、另一
博客
整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0
07-22 1302
flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台。因为后面考虑到hudi的数据要存到oss上，所以要放这几个包进来（关于oss的配置详细可参考oss配置文档）将hudi-hadoop-mr-bundle-0.10.0-SNAPSHOT.jar包放入到以下路径。以下数据证明mysqlbinlog--hudi--hive的链路是成功的。1.先查询mysql中ID为200的数据和flink DAG目前的状态。
博客
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
07-22 987
但是这样有个问题是当集群有多个用户运行Hive查询时会有问题，应避免为每个用户的会话分配固定数量的executor，因为executor分配后不能回其他用户的查询使用，如果有空闲的executor，在生产环境中，计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.​。本集群分别设置为3G和1G。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值