sqoop
秉寒-CHO
但行好事,莫问前程
展开
-
大数据技术之Sqoop配置示例
大数据技术之Sqoop配置示例原创 2016-07-13 18:31:44 · 553 阅读 · 0 评论 -
Sqoop 测试数据导入示例
1. import --connect jdbc:mysql://bigdatahadoop:3306/test --username root --password 123456 --table t_person --columns id,name,age --where 1=1 --target-dir /sqoop/test1 --delete-tar原创 2016-09-09 20:42:39 · 874 阅读 · 0 评论 -
java 链接mysql 产生500W数据模拟生成环境
java 插入数据到mysql 通过sqoop 导入到hive 中,kylin模拟见cube 时间和 数据膨胀率 kylin 数据插入到 HBase Kylin HBase 1.1.3 Hive 1.2.1 Hadoop 2.5.1 create table infoagetime( prod_name char(10), prod_id SMALLINT, ods_date D原创 2016-09-09 20:33:22 · 1571 阅读 · 0 评论 -
Sqoop 调试 错误 from hive to mysql
1. mysql jdbc 错误 需要驱动 2. mysql 服务器 ip 错误 即便是本地 也需要用 域名 或 是 ip 不能 用 localhost 等 3. 数据长度 问题 ,hive 乳沟 大于 mysql 错误 4. hive 跟 mysql 字段名称 尽量匹配 或是 一致 5. hive 的 dt 数据 是通步不过去的 需要单独 使用一个 dt 同步时...原创 2018-12-21 20:15:37 · 203 阅读 · 0 评论