Sqoop 的安装

最新推荐文章于 2024-06-03 12:06:11 发布
最新推荐文章于 2024-06-03 12:06:11 发布
阅读量224 收藏
点赞数
分类专栏： hadoop学习 文章标签： sqoop hadoop 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y976181862/article/details/65936660
版权

前提准备：hadoop集群，sqoop安装包

一，安装sqoop：

下载安装包：

http://sqoop.apache.org
版本：
Sqoop 1.4.6
 
打开hadoop集群，在hadoop01，中上传安装包到apps
解压缩 并重名为 sqoop

 

 

开启集群 上传文件，到apps文件夹，重命名
cd conf，mv重命名sqoop-env-template.sh为sqoop-env.sh
vi sqoop-env,sh
更改hadoop安装目录，把#注释去掉


                              
为了方便可以配置下sqoop的环境变


 
 
 
查看版本号，测试是否可以正常运行：


 
如果可以，会看到：


 
至此安装完成


 

 


 

                

        

        

    




    

      

        

            

              
                
                  y976181862
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
sqoop 安装

				
			

			

				

					风涛
				

				

					10-17
					
					1766
					
				

			

		

		

			
				
下载地址

http://mirror.bit.edu.cn/apache/sqoop/

因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7



找个编译好的，懒得去自己编译。


sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

重命名，我都爱留着版本号。sqoop-1.4.7

配置环境变量；根据自己的系统看看...

			
		

	



                

              
                



	

		

			

				
					
Sqoop 安装包

				
			

			

				

					10-26
				

			

		

		

			
				
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、
 postgresql...) 间 进 行 数 据 的 传 递 ， 可 以 将 一 个 关 系 型 数 据 库 （ 例 如 ：MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS的数据导进到关系型数据库中。
 
 Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来
 为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目

			
		

	



                


  
              

                


	

		

			

				
					
sqoop2的安装包

				
			

			

				

					12-18
				

			

		

		

			
				
sqoop2安装包。

			
		

	





	

		

			

				
					
sqoop的安装

				
			

			

				

					Leo的博客
				

				

					03-14
					
					181
					
				

			

		

		

			
				
首先，我将sqoop安装包和数据库驱动jar文件两个文件放到/usr/local/src目录下。





一. 解压并配置环境变量

（1）解压：tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz。并修改名字为sqoop-1.4.4。





（2）配置环境变量：vi /etc/profile

export SQOOP_HOME=/us...

			
		

	



		

			
		



	

		

			

				
					
Sqoop的安装及基本使用

				
			

			

				

					while false
				

				

					07-13
					
					4147
					
				

			

		

		

			
				
Sqoop的安装:

     Sqoop的安装非常简单，首先Sqoop的底层是mapreduce，所以必须依赖于hadoop

将Sqoop的压缩包上传解压后，然后修改配置文件即可



先将conf目录下的 sqoop-env-template.sh修改为 sqoop-env.sh，然后再如上图所示修改，

最后将mysql的驱动包拷贝到sqoop的lib目录下

Sqoop的基本使用:

s...

			
		

	





	

		

			

				
					
Sqoop安装

				
			

			

				

					m0_59676390的博客
				

				

					12-30
					
					383
					
				

			

		

		

			
				
修改 sqoop 运行的环境变量文件 sqoop-env.sh。使用密码文件访问 mysql 数据库。复制环境变量文件模板的副本，并改名。将密码文件上传至 HDFS。生成密码文件，为隐藏文件。修改文件访问权限为400。

			
		

	





	

		

			

				
					
SQOOP安装及使用

				
			

			

				

					sheep55的博客
				

				

					04-23
					
					1092
					
				

			

		

		

			
				
*注意：对于sqoop可以直接使用命令模式加上参数，同时参数和参数值在同一行 末尾使用  \ 表示当前行的命令未结束，下一行继续编辑  同时 --e 参数中的 $ 需要使用反斜杠将其取消转义 **参数，指定分割键，以确定每个map任务到底读取哪一部分数据，最好指定数值型的列，最好指定主键（或者分布均匀的列=>避免每个map任务处理的数据量差别过大）7、实际上sqoop在读取mysql数据的时候，用的是JDBC的方式，所以当数据量大的时候，效率不是很高。2、当指定的Map任务数>1，那么需要结合。

			
		

	





	

		

			

				
					
sqoop安装

				
			

			

				

					m0_48170265的博客
				

				

					04-27
					
					974
					
				

			

		

		

			
				
sqoop安装

			
		

	





	

		

			

				
					
Sqoop 安装部署

				
			

			

				

					m0_72168501的博客
				

				

					04-07
					
					636
					
				

			

		

		

			
				
Sqoop 的安装部署

			
		

	





	

		

			

				
					
Sqoop安装配置

				
			

			

				

					m0_56525833的博客
				

				

					10-20
					
					2817
					
				

			

		

		

			
				
sqoop安装配置以及运用

			
		

	





	

		

			

				
					
Sqoop安装部署及使用

				
			

			

				

					xtsheng123456的博客
				

				

					10-27
					
					482
					
				

			

		

		

			
				
sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具；sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop   and  hadoop-->SQL数据导入导出:数据导入:  RDBMS-->hadoop数据导出: hadoop-->RDBMS。

			
		

	





	

		

			

				
					
【Sqoop安装与配置】

				
			

			

				

					2301_77384102的博客
				

				

					06-03
					
					485
					
				

			

		

		

			
				
【代码】【Sqoop安装与配置】

			
		

	





	

		

			

				
					
Flume理论理解和命令（面试必问）

				
			

			

				

					y976181862的博客
				

				

					03-25
					
					7644
					
				

			

		

		

			
				
hadoop，Flume安装

			
		

	





	

		

			

				
					
linux设置免密遇到的坑爹问题

				
			

			

				

					y976181862的博客
				

				

					03-28
					
					1608
					
				

			

		

		

			
				
集群设置免密遇到的坑爹问题  log日志可以查看 cd /var/log/secure

-------------------------------------------------------------------------------------------------------------------------------------
免密登陆中cd/root 用户权限必须是...

			
		

	





	

		

			

				
					
Storm的启动命令

				
			

			

				

					y976181862的博客
				

				

					04-08
					
					1552
					
				

			

		

		

			
				
开启zookeeper集群
后台启动storm
nohup storm nimbus &
启动ui：nohup storm ui &
启动supervisor： nohup storm supervisor &
浏览器输入：http:hadoop01:8080 查看网页


启动ZOOPKEEPER

zkServer.sh start
启动NIMBUS

storm n

			
		

	





	

		

			

				
					
ES集群理解和安装

				
			

			

				

					y976181862的博客
				

				

					04-14
					
					1182
					
				

			

		

		

			
				
ElasticSearch
ES是高扩展，开源搜索引擎，可以在海量数据（10亿数据）查找到你所需要数据
ES内部核心：lucence
本质：数据管理系统


Es启动，如果es集群名称一样合并成一个集群
3，节点：表示ES启动时会设置这个几
点的名字，表示一个es管理器
4，索引(index)：一个索引就是一个数据库
5，类型(type)：就是表
6,文档（document）

			
		

	





	

		

			

				
					
ES命令集锦（很重要）

				
			

			

				

					y976181862的博客
				

				

					04-14
					
					909
					
				

			

		

		

			
				
首先开启ES集群
命令：elasticsearch -d   后台启动
验证：可以在网页上查看集群状态，green表示正常
---------------------------------------------------------------------------------------------------------------------------------------

			
		

	





	

		

			

				
					
Azkaban任务调度 理解和安装

				
			

			

				

					y976181862的博客
				

				

					03-25
					
					610
					
				

			

		

		

			
				
Azkaban任务调度
表示定时定期执行某个任务
执行任务调度的系统有，ooize，azkaban
安装：azkaban-executor-server-2.5.0.tar.gz
打开虚拟机hadoop01这里我们上传到apps文件夹里，解压缩，重命名为azkaban
进入conf文件夹
配置 vi azkaban.properties
我们需要更改的是：
名字，时区（注意大小写）

			
		

	





	

		

			

				
					
HbaseShell命令

				
			

			

				

					y976181862的博客
				

				

					03-31
					
					477
					
				

			

		

		

			
				
Hbase Shell命令：
创建一个表，
Create +’表名’ ，+’列族名1’,’列族名2’
查看所有的表：list
添加数据：
添加student表，主键为Test，列族为basic，添加列族name为xiaominng的数据：
put 'student','Test','basic:name','xiaoming'
获得 表数据：
get 'student','Test

			
		

	





	

		

			

				
					
ubuntu sqoop安装

					
最新发布

				
			

			

				

					06-28
				

			

		

		

			
				
Ubuntu上安装Sqoop通常用于将数据从Hadoop HDFS迁移到关系型数据库，如MySQL或Oracle，反之亦然。以下是基本的安装步骤：

1. **更新包列表和添加键：**
   ```
   sudo apt-get update
   sudo apt-get install apt-transport-https
   curl -fsSL https://www.apache.org/dist/sqoop/gpg/keyserver-pub.gpg | sudo apt-key add -
   ```

2. **添加Sqoop存储库：**
   ```
   echo "deb [arch=amd64] https://www.apache.org/dist/sqoop/debian/ $(lsb_release -cs) /" | sudo tee /etc/apt/sources.list.d/sqoop.list
   ```

3. **安装 Sqoop：**
   ```
   sudo apt-get update
   sudo apt-get install sqoop
   ```

4. **检查安装：**
   ```
   sqoop --version
   ```

**注意：** 如果遇到依赖问题或者apt源不可用，可能需要访问Apache Sqoop的官方网站（https://sqoop.apache.org/docs/2.8.0/）获取最新的二进制包，或者手动下载编译安装。

**相关问题--:**
1. 在Ubuntu上安装Sqoop后如何验证其是否成功？
2. Sqoop支持哪些常见的数据迁移方向？
3. 如何配置 Sqoop 与特定的数据库连接？

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值