sqoop使用示例

最新推荐文章于 2022-04-10 15:25:21 发布
VIP文章 最新推荐文章于 2022-04-10 15:25:21 发布
阅读量894 收藏
点赞数
分类专栏： 笔记 数据库 文章标签： 数据库 数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/boomhankers/article/details/74935790
版权

sqoop

Sqoop是一款开源的工具，主要用于在HADOOP不传统的数据库(mysql、postgresql等)进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

参数配置

1.使用参数
sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST
2.使用文件
sqoop --options-file /users/homer/work/import.txt --table TEST

import.txt如下：


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  HanLaotwo
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
sqoop的例子

				
			

			

				

					04-02
				

			

		

		

			
				
本文详细的介绍了sqoop应用中的一个例子，让你快速掌握sqoop入门

			
		

	



                

              
                



	

		

			

				
					
跨库数据迁移利器 —— Sqoop

				
			

			

				

					weixin_30362083的博客
				

				

					08-30
					
					433
					
				

			

		

		

			
				
一、Sqoop 基本命令
1. 查看所有命令
# sqoop help
  

2. 查看某条命令的具体使用方法
# sqoop help 命令名
二、Sqoop 与 MySQL
1. 查询MySQL所有数据库
通常用于 Sqoop 与 MySQL 连通测试：
sqoop list-databases \
--connect jdbc:mysql://hadoop001:3306/ \
...

			
		

	



                


  
              

                


	

		

			

				
					
Sqoop工具模块之sqoop-export详解附案例

				
			

			

				

					WistWill的博客
				

				

					01-02
					
					5825
					
				

			

		

		

			
				
最全最细致Sqoop工具模块之sqoop-export详解，附案例

			
		

	





	

		

			

				
					
Sqoop的简单使用

				
			

			

				

					treesorshining的博客
				

				

					12-24
					
					2271
					
				

			

		

		

			
				
1.简介
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Ap

			
		

	



		

			
		



	

		

			

				
					
Sqoop使用实例讲解

				
			

			

				

					Evankaka的专栏
				

				

					02-21
					
					2985
					
				

			

		

		

			
				
摘要：本文主要讲了笔者在使用sqoop过程中的一些实例

			
		

	





	

		

			

				
					
sqoop 常用命令整理（一）

				
			

			

				

					weixin_33972649的博客
				

				

					09-06
					
					257
					
				

			

		

		

			
				
　　这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。
      1.使用sqoop导入数据
　　

　　sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST

　　2.账号密码
　　
　　

    sqoop import...

			
		

	





	

		

			

				
					
使用sqoop抽取mysql数据

				
			

			

				

					10-26
				

			

		

		

			
				
使用sqoop从传统数据库mysql中抽取数据到大数据集群。

			
		

	





	

		

			

				
					
java连接sqoop源码-sqoop-example:sqoop-示例

				
			

			

				

					06-15
				

			

		

		

			
				
Sqoop2，但通过使用 Sqoop 1，我们可以获得以下好处： Sqoop 1 经过实战测试，功能丰富，社区活跃。 我们可以分享工作 我们有一个中心点供组织获取和概览 sqoop 导入/导出。 合规和法律就是这样。 每次注册源数据库...

			
		

	





	

		

			

				
					
Sqoop .xmind

				
			

			

				

					07-11
				

			

		

		

			
				
此思维导图主要由Sqoop基本概念、安装配置、导入与导出（import&export）三大主题组成，其中安装配置包括Sqoop的安装与配置和mysql的安装与配置（CentOS 7中）；导入与导出是以两个示例呈现。此内容来自课堂材料。

			
		

	





	

		

			

				
					
4、Sqoop job任务

					
最新发布

				
			

			

				

					05-29
				

			

		

		

			
				
4、Sqoop job任务 网址：https://blog.csdn.net/chenwewi520feng/article/details/130573712 介绍了sqoop的job操作示例

			
		

	





	

		

			

				
					
sqoop实例操作及详细参数解析

				
			

			

				

					Saint
				

				

					06-27
					
					8331
					
				

			

		

		

			
				
1、MySQL数据库中的数据导入到Hadoop的HDFS： 
    使用命令：

    $ sqoop import
    $ sqoop-import

示例：

$ sqoop import \
    --connect jdbc:mysql://localhost/userdb \
    --username root \
    --table emp \
    --m 1 \...

			
		

	





	

		

			

				
					
sqoop操作示例

				
			

			

				

					不会写代码
				

				

					04-10
					
					172
					
				

			

		

		

			
				
##1、导入mysql到HDFS 
sqoop import \
--connect jdbc:mysql://172.17.0.202:3306/test --username root --password 123456 \
--table emp --target-dir /sqoop/emp -delete-target-dir -m 1 --fields-terminated-by '\t'

sqoop import \
--connect jdbc:mysql://172.17.0.202:3

			
		

	





	

		

			

				
					
sqoop学习及例子

				
			

			

				

					qq_42356010的博客
				

				

					08-17
					
					316
					
				

			

		

		

			
				
sqoop
MapTask 行进行出 怎么进来怎么出去 不需要逻辑、分析运算

并行操作
优点：可以跨平台的数据进行整合
缺点：不够灵活
import---->hadoop
export---->RDBMS
测试：
sqoop list-databases \
--connect jdbc:mysql://xuniji03:3306 \
--username root \
--password 123456

sqoop export \
--connect jdbc:mysq1:/xuniji

			
		

	





	

		

			

				
					
Sqoop： 环境搭建、实例及概念

				
			

			

				

					Spring , Hadoop, Spark , BI , ML
				

				

					07-30
					
					4833
					
				

			

		

		

			
				
简介Sqoop是一个用于在外部结构化数据与Hadoop之间导入导出数据的工具。
  Apache Sqoop is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.
Sqoop:
是一个

			
		

	





	

		

			

				
					
Sqoop常用样例

				
			

			

				

					别人笑我太疯癫，我笑他人看不穿。
				

				

					03-29
					
					141
					
				

			

		

		

			
				
mysql导入hdfs-方式一：全表导入
bin/sqoop import 
–connect jdbc:mysql://hadoop102:3306/zy \   数据库地址
–username root 
–password 000000 
–table staff \  mysql中的表
–target-dir /user/company \  导入的路径会自动生成
–delete-target-dir \  直接向hdfs导数据的时候这个参数没有用，这个是导入hive的时候用的由于习惯原因，写上了.

			
		

	





	

		

			

				
					
sqoop使用例子

				
			

			

				

					lovemelovemycode的专栏
				

				

					11-08
					
					2111
					
				

			

		

		

			
				
简介： sqoop是工具，一个可以把ORACLE、MYSQL中的数据导入到HDFS、HIVE、HBASE中（反过来也可以）的工具。下面是一些使用的例子。留下做个参考：
#从Mysql中抽取数据到HDFS.问题：文件太多，全他妈是小文件；目标目录如果已经存在会报错
sqoop import --connect jdbc:mysql://10.10.244.137/test --username

			
		

	





	

		

			

				
					
Sqoop应用实例

				
			

			

				

					Qi.zheng
				

				

					10-26
					
					863
					
				

			

		

		

			
				
#自定义的sql导入  
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--query 'SELECT tid,tname,tlevel from fbd_trade WHERE tid


			
		

	





	

		

			

				
					
Sqoop导入导出的几个例子

				
			

			

				

					qq_36864672的博客
				

				

					12-21
					
					7435
					
				

			

		

		

			
				
导入

例一：从DBMS到HDFS

1.node4下启动mysql

service mysqld start

mysql -u root -p

输入密码：123

 

2.node4下创建test数据库

create database test;

创建psn表



 

3.node2中创建sqoop_test,编辑sqoop1



import
	--connect
	jdbc...

			
		

	





	

		

			

				
					
怎么创建sqoop job？例子？

				
			

			

				

					04-19
				

			

		

		

			
				
您好，关于如何创建sqoop job以及相应的例子，我可以为您提供帮助。一般来说，可以通过在命令行中使用"sqoop job"关键字，并指定相关参数来创建sqoop job。例如，下面是一个创建sqoop job的命令示例：  sqoop job --...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值