ChengYanan的博客

eval像是一个数据库的客户端工具。使用eval来查询表sqoop eval \--connect jdbc:mysql://123.123.4.52:3306/linshi_1 \--username root \--password 1313134 \--query "select * from e_board"使用eval来插入删除数据sqoop eval \--connect jdbc:mysql://11.34.33.22:3306/linshi_1 \--username

背景有一张mysql表a：表结构如下： 有7列col1 和 col2 是主键，col3~col7是普通列。col1col2col3col4col5col6col7prk1prk2v3v4v5v6v7col3~col5 来自于hive 表 b，col6～col7来自于hive表c。解决方案方案示意图#mermaid-svg-bs2QsNEfgltKLOc9 .label{font-family:'trebuchet ms', verdana, ar

hive表使用sqoop导入mysql报错，查询原因是分区字段出现了NULL，而分区字段又是mysql表中的主键。查看HDFS上出现一个date=__HIVE_DEFAULT_PARTITION__的分区，就是分区字段为NULL的那些数据记录使用hdfs命令，手动删除date=__HIVE_DEFAULT_PARTITION__的分区后再次执行sqoop脚本，发现出现另外一个错误：执行MSCK REPAIR TABLE命令：hive> MSCK REPAIR TABLE ads.ads_i

#!/bin/bashdb_date=$2echo $db_datedb_name=gmall#定义了一个方法，方法体里边的$1,$2指的是调用这个方法时候传入的参数import_data() {/opt/module/sqoop/bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/$db_name \--usernam...

报错信息21/07/01 10:04:53 ERROR tool.ExportTool: Encountered IOException running export job: org.apache.hive.hcatalog.common.HCatException : 2001 : Error setting output information. Cause : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyE