sqoop
weixin_42934205
这个作者很懒,什么都没留下…
展开
-
sqoop(四) sqoop密码的四种提供方式
sqoop(四) sqoop密码的四种提供方式1.明文模式明文模式是最为简单的方式。我们可以在执行sqoop命令时使用--password参数,这样我们就可以直接在命令行中输入密码来访问数据库。sqoop list-databases --connect jdbc:mysql://your_mysql_host \--username your_mysql_username --password your_mysql_password2.交互模式交互模式是一种常用的提供密码的方式。在执行sq原创 2021-05-12 10:41:07 · 618 阅读 · 0 评论 -
sqoop(三) --m参数详解
sqoop(三) --m参数详解Sqoop并行化是启多个map task实现的,-m(或–num-mappers)参数指定map task数,默认是四个。当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。并行度不是设置的越大越好,map task的启动和销毁都会消耗资源,而且过多的数据库连接对数据库本身也会造成压力。在并行操作里,首先要解决输入数据是以什么方式负债均衡到多个map的,即怎么原创 2021-05-12 10:36:58 · 1961 阅读 · 0 评论 -
sqoop(二) sqoop job
sqoop(二) sqoop jobsqoop job的常用参数: --create <job-id> 创建一个新的sqoop任务 --delete <job-id> 删除sqoop任务 --exec <job-id> 运行任务 --list 列出已经保存的sqoop任务列表 --show <job-id> 显示已保存的任务的参数 --verbose 工作时打印更多的信息创建sqoop job任务:sqoop job \--create原创 2021-05-12 10:35:00 · 251 阅读 · 0 评论 -
sqoop(一)数据库数据导入hive
sqoop(一)数据库数据导入hive将达梦数据库数据导入到hive将达梦数据库的驱动放到sqoop安装路径下的lib路径下(其他数据库同样操作)sqoop命令是:sqoop import --driver dm.jdbc.driver.DmDriver --connect \ jdbc:dm://192.168.xx.xx:xxxx/METACENTER \ --username XXXXX \ --password xxxxx \ --query "select * from原创 2021-05-12 09:15:58 · 1051 阅读 · 0 评论