![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
文章平均质量分 62
lcl_bigdata
这个作者很懒,什么都没留下…
展开
-
sqoop job import mysql com.mysql.jdbc.Driver包异常
异常信息:Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.网上查了一下是mysq...原创 2021-09-17 17:12:12 · 200 阅读 · 0 评论 -
sqoop job 免密 import 步骤及坑
今天把sqoopjob的数据库密码修改为从文件中获取,环境:CDH6.2.1,Sqoop-1.4.71,修改配置文件sqoop-site.xml,在/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/etc/sqoop文件夹下,增加配置<property> <name>sqoop.metastore.client.record.password</name> <value>...原创 2021-03-24 15:42:42 · 262 阅读 · 0 评论 -
sqoop export hive to mysql 乱码问题
sqoop export导出hive表到mysql表,中文乱码,中文显示????像这种:之前修改过一次,方法一起效了,但是这个更换了服务器,新建的mysql库,方法一未起效,改用方法二生效;方法一:新建一个查询窗口,或者用命令进入mysql>,输入set character_set_database=utf8;set character_set_server=utf8;输入show variables like 'character%';查看结果:...原创 2021-01-14 14:11:41 · 265 阅读 · 0 评论 -
sqoop export 到mysql踩得巨坑。。
首先把修正后的脚本放出来,然后在说说踩得那些坑!sqoopexport脚本:/home/huser/sqoop-1.4.7/bin/sqoop export --connect "jdbc:mysql://localhost9:3306/analysis" \--username mysql \--password Pass2020 \--table tmp_dws_visit_source \--columns days,visitSourceType,visitSource \-..原创 2020-08-20 14:44:15 · 3484 阅读 · 1 评论 -
sqoop 报错Could not register mbeans java.security.AccessControlException: access denied (“javax.manage
sqoop导出SqlServer数据库数据时,报错如下,但是前一天的定时任务执行该命令是没有异常的,今天修改了命令里面的问题,手动执行sqoop导出时,出现异常:2020-07-29 10:33:48,532 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")20/07原创 2020-07-29 11:24:34 · 1659 阅读 · 1 评论 -
sqoop import SqlServer to hive
sqoopimport语句:按表中字段筛选 $SQOOP_HOME/bin/sqoop import \--connect 'jdbc:sqlserver://168.16.8.168:5419;database=database_name' \--username 'user' \--password '12345678' \--table dt_tablename \ --columns 'id,createtime,name,mobile' \--null-string '\\N' .原创 2020-07-02 17:27:01 · 281 阅读 · 0 评论 -
sql server DateTime与DateTime2的区别
DateTime字段类型对应的时间格式是 yyyy-MM-dd HH:mm:ss.fff ,3个f,精确到1毫秒(ms),示例 2014-12-03 17:06:15.433 。DateTime2字段类型对应的时间格式是 yyyy-MM-dd HH:mm:ss.fffffff ,7个f,精确到0.1微秒(μs),示例 2014-12-03 17:23:19.2880929 。如果用SQL的日期...原创 2019-12-25 16:39:13 · 3599 阅读 · 0 评论