Sqoop 的安装

最新推荐文章于 2019-03-28 16:44:49 发布
最新推荐文章于 2019-03-28 16:44:49 发布
阅读量224 收藏
点赞数
分类专栏： hadoop学习 文章标签： sqoop hadoop 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y976181862/article/details/65936660
版权

前提准备：hadoop集群，sqoop安装包

一，安装sqoop：

下载安装包：

http://sqoop.apache.org
版本：
Sqoop 1.4.6
 
打开hadoop集群，在hadoop01，中上传安装包到apps
解压缩 并重名为 sqoop

 

 

开启集群 上传文件，到apps文件夹，重命名
cd conf，mv重命名sqoop-env-template.sh为sqoop-env.sh
vi sqoop-env,sh
更改hadoop安装目录，把#注释去掉


                              
为了方便可以配置下sqoop的环境变


 
 
 
查看版本号，测试是否可以正常运行：


 
如果可以，会看到：


 
至此安装完成


 

 


 

                

        

        

    




    

      

        

            

              
                
                  y976181862
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
sqoop 安装

				
			

			

				

					风涛
				

				

					10-17
					
					1766
					
				

			

		

		

			
				
下载地址

http://mirror.bit.edu.cn/apache/sqoop/

因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7



找个编译好的，懒得去自己编译。


sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

重命名，我都爱留着版本号。sqoop-1.4.7

配置环境变量；根据自己的系统看看...

			
		

	



                

              
                



	

		

			

				
					
Sqoop 安装包

				
			

			

				

					10-26
				

			

		

		

			
				
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、
 postgresql...) 间 进 行 数 据 的 传 递 ， 可 以 将 一 个 关 系 型 数 据 库 （ 例 如 ：MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS的数据导进到关系型数据库中。
 
 Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来
 为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目

			
		

	



                


  
              

                


	

		

			

				
					
sqoop2的安装包

				
			

			

				

					12-18
				

			

		

		

			
				
sqoop2安装包。

			
		

	





	

		

			

				
					
sqoop的安装

				
			

			

				

					Leo的博客
				

				

					03-14
					
					181
					
				

			

		

		

			
				
首先，我将sqoop安装包和数据库驱动jar文件两个文件放到/usr/local/src目录下。





一. 解压并配置环境变量

（1）解压：tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz。并修改名字为sqoop-1.4.4。





（2）配置环境变量：vi /etc/profile

export SQOOP_HOME=/us...

			
		

	



		

			
		



	

		

			

				
					
Sqoop的安装及基本使用

				
			

			

				

					while false
				

				

					07-13
					
					4147
					
				

			

		

		

			
				
Sqoop的安装:

     Sqoop的安装非常简单，首先Sqoop的底层是mapreduce，所以必须依赖于hadoop

将Sqoop的压缩包上传解压后，然后修改配置文件即可



先将conf目录下的 sqoop-env-template.sh修改为 sqoop-env.sh，然后再如上图所示修改，

最后将mysql的驱动包拷贝到sqoop的lib目录下

Sqoop的基本使用:

s...

			
		

	





	

		

			

				
					
sqoop安装与使用

				
			

			

				

					07-24
				

			

		

		

			
				
#### 二、Sqoop安装步骤  1. **下载压缩包**：  - 访问[Apache官方镜像站点](https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/)，下载`sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz`。   2. **解压并配置...

			
		

	





	

		

			

				
					
sqoop安装工具

				
			

			

				

					11-15
				

			

		

		

			
				
在这个“sqoop安装工具”压缩包中，包含了 Sqoop 的安装包以及 MySQL 的驱动包，这为用户一次性解决安装需求提供了便利。  首先，我们需要理解Sqoop的基本工作原理。Sqoop是通过MapReduce任务来执行数据迁移的，它...

			
		

	





	

		

			

				
					
Sqoop 安装.docx

				
			

			

				

					05-20
				

			

		

		

			
				
在本实验中，我们将详细介绍 Sqoop 的安装过程，包括嵌入式安装方法，适用于 Ubuntu 16.04 操作系统的环境。  **实验目标** Sqoop 的安装目的是为了熟悉和掌握 Sqoop 工具的安装步骤，以便在未来的工作中能够高效地...

			
		

	





	

		

			

				
					
Sqoop安装与使用

				
			

			

				

					06-21
				

			

		

		

			
				
Sqoop 安装与使用  Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具，充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁，支持...

			
		

	





	

		

			

				
					
sqoop安装，使用

				
			

			

				

					08-01
				

			

		

		

			
				
包括数据导入，导出，[www.javaxxz.com]1.02_02_01_17 回顾复Sqoop的使用及布置作业（oracle与hadoop数据的import）

			
		

	





	

		

			

				
					
Flume理论理解和命令（面试必问）

				
			

			

				

					y976181862的博客
				

				

					03-25
					
					7644
					
				

			

		

		

			
				
hadoop，Flume安装

			
		

	





	

		

			

				
					
linux设置免密遇到的坑爹问题

				
			

			

				

					y976181862的博客
				

				

					03-28
					
					1608
					
				

			

		

		

			
				
集群设置免密遇到的坑爹问题  log日志可以查看 cd /var/log/secure

-------------------------------------------------------------------------------------------------------------------------------------
免密登陆中cd/root 用户权限必须是...

			
		

	





	

		

			

				
					
Storm的启动命令

				
			

			

				

					y976181862的博客
				

				

					04-08
					
					1552
					
				

			

		

		

			
				
开启zookeeper集群
后台启动storm
nohup storm nimbus &
启动ui：nohup storm ui &
启动supervisor： nohup storm supervisor &
浏览器输入：http:hadoop01:8080 查看网页


启动ZOOPKEEPER

zkServer.sh start
启动NIMBUS

storm n

			
		

	





	

		

			

				
					
ES集群理解和安装

				
			

			

				

					y976181862的博客
				

				

					04-14
					
					1182
					
				

			

		

		

			
				
ElasticSearch
ES是高扩展，开源搜索引擎，可以在海量数据（10亿数据）查找到你所需要数据
ES内部核心：lucence
本质：数据管理系统


Es启动，如果es集群名称一样合并成一个集群
3，节点：表示ES启动时会设置这个几
点的名字，表示一个es管理器
4，索引(index)：一个索引就是一个数据库
5，类型(type)：就是表
6,文档（document）

			
		

	





	

		

			

				
					
ES命令集锦（很重要）

				
			

			

				

					y976181862的博客
				

				

					04-14
					
					909
					
				

			

		

		

			
				
首先开启ES集群
命令：elasticsearch -d   后台启动
验证：可以在网页上查看集群状态，green表示正常
---------------------------------------------------------------------------------------------------------------------------------------

			
		

	





	

		

			

				
					
Azkaban任务调度 理解和安装

				
			

			

				

					y976181862的博客
				

				

					03-25
					
					610
					
				

			

		

		

			
				
Azkaban任务调度
表示定时定期执行某个任务
执行任务调度的系统有，ooize，azkaban
安装：azkaban-executor-server-2.5.0.tar.gz
打开虚拟机hadoop01这里我们上传到apps文件夹里，解压缩，重命名为azkaban
进入conf文件夹
配置 vi azkaban.properties
我们需要更改的是：
名字，时区（注意大小写）

			
		

	





	

		

			

				
					
HbaseShell命令

				
			

			

				

					y976181862的博客
				

				

					03-31
					
					477
					
				

			

		

		

			
				
Hbase Shell命令：
创建一个表，
Create +’表名’ ，+’列族名1’,’列族名2’
查看所有的表：list
添加数据：
添加student表，主键为Test，列族为basic，添加列族name为xiaominng的数据：
put 'student','Test','basic:name','xiaoming'
获得 表数据：
get 'student','Test

			
		

	





	

		

			

				
					
kafka常用命令

				
			

			

				

					y976181862的博客
				

				

					03-27
					
					290
					
				

			

		

		

			
				
Kafka常用操作命令
l 查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper  hadoop02:2181
l 创建topic
./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic fi

			
		

	





	

		

			

				
					
sqoop工具操作

				
			

			

				

					y976181862的博客
				

				

					03-25
					
					284
					
				

			

		

		

			
				
拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里
启动HDFS集群，zookeeper集群，yarn运算
打开操作的数据库sqlyog，连接到hadoop机器1
新创建个test数据库
在test库中创建个student，添加属性 sid，sname，gender，age


开启hive


Hive数据也存在于HDFS集群中


			
		

	





	

		

			

				
					
ubuntu sqoop安装

					
最新发布

				
			

			

				

					06-28
				

			

		

		

			
				
Ubuntu上安装Sqoop通常用于将数据从Hadoop HDFS迁移到关系型数据库，如MySQL或Oracle，反之亦然。以下是基本的安装步骤：

1. **更新包列表和添加键：**
   ```
   sudo apt-get update
   sudo apt-get install apt-transport-https
   curl -fsSL https://www.apache.org/dist/sqoop/gpg/keyserver-pub.gpg | sudo apt-key add -
   ```

2. **添加Sqoop存储库：**
   ```
   echo "deb [arch=amd64] https://www.apache.org/dist/sqoop/debian/ $(lsb_release -cs) /" | sudo tee /etc/apt/sources.list.d/sqoop.list
   ```

3. **安装 Sqoop：**
   ```
   sudo apt-get update
   sudo apt-get install sqoop
   ```

4. **检查安装：**
   ```
   sqoop --version
   ```

**注意：** 如果遇到依赖问题或者apt源不可用，可能需要访问Apache Sqoop的官方网站（https://sqoop.apache.org/docs/2.8.0/）获取最新的二进制包，或者手动下载编译安装。

**相关问题--:**
1. 在Ubuntu上安装Sqoop后如何验证其是否成功？
2. Sqoop支持哪些常见的数据迁移方向？
3. 如何配置 Sqoop 与特定的数据库连接？

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值