sqoop学习

最新推荐文章于 2023-12-15 17:51:37 发布
最新推荐文章于 2023-12-15 17:51:37 发布
阅读量183 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caixiaowang/article/details/79692903
版权

sqoop和distcp的异同

sqoop和distcp都是基于mapreduce来完成任务。
distcp做集群间的数据复制，而sqoop通过jdbc驱动，做hadoop集群和关系数据库之间的数据复制。

列出mysql的所有数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

mysql的表导入到hdfs


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  caixiaowang
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
大数据工具——Sqoop

				
			

			

				

					m0_45993982的博客
				

				

					05-15
					
					1096
					
				

			

		

		

			
				
一、Sqoop简介
官方文档：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
参考命令文档：http://www.360doc.com/content/16/1116/10/37253246_606951065.shtml
1.产生背景
早期由于技术的匮乏，要首先非结构和和结构化同步，是非常困难的，Hadoop生态研发了sqoop这样的一个同步工具，主要是实现异构化数据同步，不过sqoop更新较慢，因为sqoop工具比较小，最新版本是1.4.7


			
		

	



                

              
                



	

		

			

				
					
大数据面试题

				
			

			

				

					m0_38109926的博客
				

				

					12-10
					
					1802
					
				

			

		

		

			
				
1. Linux 常用命令




命令
命令解释




top
查看内存


ps -ef | grep 程序名
查看进程


df -h
查看磁盘存储情况


iotop
查看磁盘IO读写


iotop -o
直接查看比较高的磁盘读写程序


uptime
查看系统运行时长和平均负载


netstat -tunlp | grep 端口号
查看端口占用情况


2. Shell常用工具及写过的脚本

awk:文本和数据的处理工具
sed:流式文本编辑器
cut: 连接文件并打印在输出设备上
sort

			
		

	



                


  
              

                


	

		

			

				
					
Sqoop学习

				
			

			

				

					xixihaha_coder的博客
				

				

					11-13
					
					1852
					
				

			

		

		

			
				
Sqoop的简介

产生背景

基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中;
早期由于工具的缺乏，Hadoop与传统数据库之间的数据传输非常困滩。
基于前两个方面的考虑，需要一个在传统关系型数据库和Hadoop之间
进行数据传输的项目,Sqoop应运而生。


Sqoop是什么

Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面;可以使用Sqoop将数据从关系型数据库管理系统(如MySQL)导入到Hadoop系

			
		

	





	

		

			

				
					
sqoop入门教程

				
			

			

				

					北京小辉
				

				

					01-22
					
					3475
					
				

			

		

		

			
				
目录
一、Sqoop概述
       1、简介
       2、Sqoop架构原理
      &nb

			
		

	



		

			
		



	

		

			

				
					
Sqoop基础理论与常用命令详解（超详细）

					
最新发布

				
			

			

				

					zcs2312852665的博客
				

				

					12-15
					
					2573
					
				

			

		

		

			
				
本文介绍了Sqoop工具的概述和基本架构，以及Sqoop的特点和优势。然后详细介绍了Sqoop的常用命令，包括导入数据、导出数据、执行SQL查询、列出数据库和表等命令的语法和选项。最后，提供了一些Sqoop命令的示例，以帮助读者更好地理解和使用Sqoop工具。

			
		

	





	

		

			

				
					
sqoop学习资源

				
			

			

				

					10-15
				

			

		

		

			
				
这个压缩包文件的资源集成了 Sqoop 的学习资料和代码示例，非常适合那些想要深入理解并掌握 Sqoop 技术的人。以下是关于 Sqoop 的一系列详细知识点：  1. **什么是 Sqoop？**  Sqoop 是一个开源项目，它为 Hadoop ...

			
		

	





	

		

			

				
					
大数据开发中的Sqoop学习笔记(自己整理版).pdf

				
			

			

				

					07-05
				

			

		

		

			
				
【Sqoop概述】  Sqoop是Apache Hadoop生态系统中的一款重要工具，主要负责在关系型数据库管理系统（如MySQL）和Hadoop的HDFS、Hive、HBase之间进行数据的迁移。自2009年成立以来，它从最初的Hadoop模块发展成为独立...

			
		

	





	

		

			

				
					
sqoop 学习资料

				
			

			

				

					02-11
				

			

		

		

			
				
sqoop 学习资料

			
		

	





	

		

			

				
					
sqoop学习文档(2){Sqoop import、Sqoop export}.docx

				
			

			

				

					07-28
				

			

		

		

			
				
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间传输数据的工具。它允许用户方便地将数据从 RDBMS 导入到 Hadoop 分布式...同时，尊重原创，正确引用来源，这不仅是对他人的尊重，也是自我学习成长的一部分。

			
		

	





	

		

			

				
					
Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

				
			

			

				

					07-28
				

			

		

		

			
				
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间进行数据迁移的工具。它主要负责将结构化的数据从 RDBMS（例如 MySQL）导入到 Hadoop ...持续学习和实践 Sqoop，将有助于提升你在大数据处理领域的技能。

			
		

	





	

		

			

				
					
sqoop简介

				
			

			

				

					ClearloveXXX的博客
				

				

					08-28
					
					1426
					
				

			

		

		

			
				
Sqoop是什么：

传统数据库与Hadoop间数据同步工具

利用MR分布式批处理，加快了数据传输速度，保证了容错性

Sqoop1架构：

    

Sqoop1 import原理(导入)

从传统数据库获取元数据信息（schema、table、field、field type）,把导入功能转换为只有Map的Mapreduce作业，在Mapreduce中有很多map，每个map读取一片数据，...

			
		

	





	

		

			

				
					
sqoop条件抽取报错distcp

				
			

			

				

					ctsu9014的博客
				

				

					07-06
					
					249
					
				

			

		

		

			
				
Sqoop抽取语句如下：
/usr/local/sqoop-1.4.6/bin/sqoop import \
 --connect jdbc:mysql://10.13.50.125:3306/longer \
 --...

			
		

	





	

		

			

				
					
Sqoop入门（一篇就够了）

				
			

			

				

					阿甘兄
				

				

					03-01
					
					4279
					
				

			

		

		

			
				
文章目录01 引言02 Sqoop概述2.1 Sqoop定义2.2 Sqoop功能2.3 Sqoop工作机制03 Sqoop安装3.1 Sqoop下载3.2 Sqoop配置3.3 Sqoop验证启动04 Sqoop导入导出4.1 Sqoop导入4.1.1 导入语法4.1.2 导入案例4.1.2.1 导入表数据到HDFS4.1.2.2 导入关系表到HIVE4.1.2.3 导入到HDFS指定目录4.1.2.4 导入表数据子集4.1.2.5 增量导入4.2 Sqoop导出4.2.1 导出语法4.2.2 导出案例0

			
		

	





	

		

			

				
					
Sqoop 工具速查表（中文版）--转

				
			

			

				

					weixin_30535913的博客
				

				

					03-31
					
					838
					
				

			

		

		

			
				
Sqoop用户手册（英文版）：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html
1. 概述
本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。



2....

			
		

	





	

		

			

				
					
大数据学习——Sqoop入门使用

				
			

			

				

					编程圈子-谢厂节的博客
				

				

					04-10
					
					2373
					
				

			

		

		

			
				
Sqoop概述Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 
架构示意图：Sqoop整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。网址：http:/

			
		

	





	

		

			

				
					
Sqoop 是什么？Sqoop 有什么特点？

					
热门推荐

				
			

			

				

					Shockang的博客
				

				

					06-28
					
					1万+
					
				

			

		

		

			
				
前言
本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

Sqoop 概述
Sqoop 从工程角度，解决了关系型数据库与 Hadoop 之间的数据传输问题，它构建了两者之间的“桥梁"”，使得数据迁移工作变得异常简单。
在实际项目中，如果遇到以下任务，可尝试使用 Sqoop 完成:
数据迁移
公司内部商用关系型数据仓库中的数据以分析为主，综合考虑扩展性、容错性和

			
		

	





	

		

			

				
					
sqoop学习笔记

				
			

			

				

					missence的博客
				

				

					11-06
					
					1907
					
				

			

		

		

			
				
学习sqoop主要从以下几点入手

一 为啥要用sqoop
二 Sqoop到底是啥
三 Sqoop怎么安装
四 Sqoop如何使用

一、为啥要用sqoop，业务场景分析
      
1、公司要做大数据统计分析，采用的是hadoop+zookeeper+flume+hive+kylin。
2、财务需要统计数据报表，考虑到kylin的实时性问题，最后解决方案：当天查oracle

			
		

	





	

		

			

				
					
Sqoop学习笔记

				
			

			

				

					吃果冻不吐果冻皮
				

				

					04-08
					
					1782
					
				

			

		

		

			
				
一、Sqoop简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 
对于某些NoSQL数据库，它也提供了连接器。Sqoop类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时

			
		

	





	

		

			

				
					
sqoop 导入导出数据倾斜问题优化

				
			

			

				

					qq_20064245的博客
				

				

					10-26
					
					5580
					
				

			

		

		

			
				
导入：
PG => hive   : 


sqoop import  --connect jdbc:postgresql://host:5432/test --username test --password test --table jxl_main_service --hive-import   --hive-table  jxl_tmp.jxl_main_service --spl

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值