sqoop jdk1.7不兼容问题

最新推荐文章于 2021-02-04 21:19:42 发布
最新推荐文章于 2021-02-04 21:19:42 发布
阅读量1.1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scjthree/article/details/26683053
版权
sqoop测试库上测试的很好，一切正常，切到正式库上运行报错：
sqoop jdk1.7不兼容问题 - scjthree - 亚存的博客
 
查了下说是jdk兼容问题。测试库用的是jdk1.6，正式库是jdk1.7。用的是sqoop1.4.4，估计它还是在1.6的环境下编译的，jdk1.7的环境下它就不认了。
看来还是用文件直接传输吧，工具真是不靠谱
亚存
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Spark 2.0.0搭建Hive on Spark环境
纠了个结De聖的博客
04-06 9645
如何让HIVE 2.2.0使用Spark 2.0.0计算框架。
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
sqoop1.4.6的安装和配置
ivan的专栏
01-24 741
一、环境与软件 操作系统：Red Hat 4.8.3-9 Apache hadoop： 2.7.2 Apache Zookeeper：3.4.9 Apache Sqoop： 1.4.6 mysql JDBC：5.1.4 1、登录 linux 81，拥有root权限 2、cd /opt 3、下载sqoop 的包   wget   4、tar -z
sqoop mysql 安装_Sqoop安装
weixin_29866423的博客
02-04 147
由于Sqoop是Hadoop的一个子项目，它只能工作在Linux操作系统。这里需要按照下面系统上给定安装Sqoop的步骤。第1步：验证JAVA安装在安装Sqoop之前，需要确定是否已经在系统上安装Java。用下面的命令来验证Java安装：$ java–version如果Java已经安装在系统上，应该能看到如下回应：java version"1.7.0_71"Java(TM)SERuntimeEnv...
Sqoop安装使用
weixin_34234721的博客
04-07 70
1 环境 1、操作系统：CentOS-6.5-x86 2、JDK-1.6.0_45 3、Hadoop-1.2.1 4、Zookeeper-3.4.6 5、sqoop-1.4.5.bin__hadoop-1.0.0 2 搭建前提条件 已经按照Hadoop中“HBase安装”文章，已经搭建起了一个Hbase数据库，并且已经启动。 3 部署步骤 3.1 下载...
sqoop
Helpless_pain的博客
04-18 1942
sqoop框架(工具)简介     ** RDBMS   HDFS、HIVE、HBASE     ** 原先数据库集群已有的数据 --> HDFS --> 分析     ** Hive分析结果 -->  RDBMS(mysql) --> 报表展示          ** sqoop.apache.org         ** apache版本         ** CDH版本
sqoop 导入数据的时候出现Unsupported major.minor version 52.0的问题描述
xiao_jun_0820的专栏
02-22 5365
出现该问题是由于cloudera manager和系统的jdk版本不一致导致的，更具体点是cm使用的是低版本的jdk（我的是1.7）,而操作系统通过java -version出来的版本是高版本的jdk(我的是1.8),由于sqoop会自动生成代码并编译程jar然后提交给map-reduce执行，所以shell命令行执行sqoop编译出来的job jar是1.8编译的，而我的cm5.3.0安装的时候
It seems as though you are running sqoop with a JRE.
zzw_17600691357的博客
05-06 1540
在执行 sqoop import --connect jdbc:mysql://node1:3306/result_db --username root --password 123456 --columns browser_name,browser_version --table dimension_browser --delete-target-dir -m 1 --target-dir...
as 修改jre路径_看起来好像您正在运行带有JRE的sqoop - 但将JAVA_HOME设置为JDK
weixin_42336364的博客
12-23 356
I tried to set up sqoop (sqoop-1.4.3.bin__hadoop-1.0.0) on Ubuntu. I can run the basic sqoop help etc without problems. When I run the following I get an error:sqoop import --connect jdbc:mysql://loca...
sqoop-1.4.6和sqoop-1.4.7 jar包
07-27
sqoop框架开发工具使用的jar，目前版本有1.4.6和1.4.7两个jar包
sqoop-1.4.6.bin__hadoop-2.0.4-alpha+mysql-connector-java-5.1.40-bin+jdk-8u221
09-21
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz，mysql-connector-java-5.1.40-bin.jar，jdk-8u221-linux-x64.tar.gz.zip
sqoop从mysql到hive的时间字段问题
01-07
一、问题发现与分析 ...经过对比：sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题：默认先转为对应时间戳，再转换为北京市区时间，就会使时间多8小时。 解决办法有两个： 1、在sql里将时间字段转换为
sqoop：Apache Sqoop的镜像
02-03
欢迎来到Sqoop！ 这是Sqoop（SQL到Hadoop）工具。 Sqoop允许在数据库和HDFS之间轻松导入和导出数据集。更多文件Sqoop附带其他文档：用户指南和手册页。 两者的asciidoc来源都在src/docs/ 。 运行ant docs以构建文档...
sqoop重编译版本，解决了联合主键的同步问题
06-29
原生的sqoop在迁移联合主键的表至hive时，只能识别一个主键，导致数据覆盖。本资源是把sqoop的源码按照官方推荐的issue解决方案重新编译后的...这个hadoop的旧版本兼容问题真的很麻烦。大家在遇到问题也需要耐心些。
HIVE迁移的点点滴滴（二）--rownum分组
scjthree的专栏
05-23 1886
今天编写的脚本里有个根据某个字段进行rownum分组的需求。在oracle这个用分析函数row_number() over，能很轻松搞定，hive里就麻烦了。模拟的表结构如下：user_id    buy_num   rownum  1               30              1  1               20              2  1            
sqoop 导mysql数据提示找不到jar文件
scjthree的专栏
05-23 1461
今天遇上个异常奇葩的问题，sqoop安装好之后，链接mysql没问题但一导入数据就提示如下： 提示说找不到jar文件。这个jar文件在sqoop目录下的lib文件夹下，可sqoop为何要跑到hdfs下去找？按提示，把lib目录下的jar文件全部导入hdfs下，  再运行，貌似一切正常 貌似还没找到哪个教程说把jar文件要预先传到hdfs上才能运行，hadoop也是自己传上去的。难道sqoop找不到
HIVE迁移的点点滴滴（一）
scjthree的专栏
05-23 1163
今天处理了一点点推荐系统的迁移。现在用的推荐系统是在数据仓库里离线计算，生成计算结果推送给网站的。之前用的是基于商品的协同过滤算法，全sql实现，算法本身不是很复杂，但当时为了简单起见，用了游标处理了下。HIVE很不幸地不支持游标，如果要迁过去，要么自己写java程序，要么改写成不用游标的sql实现。显然后一种靠谱点原来核心算法实现语句select        m_goods.goods_id
Sqoop 数据导出一致性问题？
最新发布
05-17
在使用Sqoop将数据从关系型数据库导出到Hadoop集群时，可能会遇到一致性问题，这是因为在导出过程中，源数据库的数据可能会发生变化，从而导致导出的数据不一致。 Sqoop提供了两种方式来解决这个问题： 1.快照方式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值