Sqoop处理Clob与Blob字段

最新推荐文章于 2022-02-25 10:43:36 发布
最新推荐文章于 2022-02-25 10:43:36 发布
阅读量4.7k 收藏 1
点赞数 1
分类专栏： 批量:Hive/Spark/Hbas 文章标签： sqoop hive blob
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BDCHome/article/details/46663901
版权
本文介绍了如何使用Sqoop从Oracle数据库中导入包含Clob和Blob字段的数据到Hive或HDFS。作者kwu指出，Clob字段导入后在HDFS上以文本形式展示，而Blob字段则显示为16进制。转换16进制到字符串的方法涉及移位操作。
摘要由CSDN通过智能技术生成

[Author]: kwu 

Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。

1、oracle中的测试表

CREATE TABLE
    T_LOB
    (
        A INTEGER,
        B CLOB,
        C BLOB
    )

测试数据

insert into T_LOB (A, B, C) values (1, 'clob测试',to_blob('3456'));


2、sqoop脚本 


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  大数据部
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
sqoop blob mysql_Sqoop处理Clob与Blob字段

				
			

			

				

					weixin_29207439的博客
				

				

					02-05
					
					634
					
				

			

		

		

			
				
[Author]: kwuSqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。1、oracle中的测试表[mw_shl_code=bash,true]CREATE TABLET_LOB(A INTEGER,B CLOB,C BLOB)[/mw_shl_code]测试数据[mw_shl_code=sql,t...

			
		

	



                

              
                



	

		

			

				
					
Sqoop处理Oracle大字段BLOB

				
			

			

				

					docsz的博客
				

				

					04-30
					
					764
					
				

			

		

		

			
				
Sqoop处理Oracle大字段BLOB

			
		

	



                


  
              

                


	

		

			

				
					
sqoop处理换行符--包含clob字段情况

				
			

			

				

					Rango_lhl的博客
				

				

					01-26
					
					1453
					
				

			

		

		

			
				
一、sqoop同步oracle数据非clob字段：
要处理换行符，在sqoop脚本中，参数使用下面任意一个即可
#替换为空 
--hive-delims-replacement "" 
#删除
--hive-drop-import-delims   

二、sqoop同步oracle数据clob字段
clob字段一般包含大量文本，必然包含换行符，使用上面参数没有作用，需要使用下面参数：
#指定clob列为String类型
--map-column-java CLOB列=String 

例子如下：
orac

			
		

	





	

		

			

				
					
使用sqoop迁移Oracle中blob到Trafodion

				
			

			

				

					数据源的港湾
				

				

					02-20
					
					745
					
				

			

		

		

			
				
在前面文章中，我们介绍了使用sqoop把blob迁移到Hive，由于Hive本身不支持LOB类型，我们使用String来存储BLOB数据，存储格式为16进制的字符串。
数据在Hive中之后，我们便可以直接使用Trafodion自带的LOAD INTO命令把数据直接从Hive表加载到Trafodion表，如下
SQL>create table t_blob(a int, b varchar(1...

			
		

	



		

			
		



	

		

			

				
					
sqoop 导入mysql blob字段,Sqoop导入的数据格式问题

				
			

			

				

					weixin_35598854的博客
				

				

					03-27
					
					1061
					
				

			

		

		

			
				
Sqoop简单介绍Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具。也就是说可以从Oracle，MySQL，PostgreSQL等数据库中将数据传输到HDFS，Hive，HBase上，反之也可以。简单说一下Sqoop的原理。它实际上就是将导入导出这个工作通过指令翻译成一个java文件，然后通过MapReduce来执行格式的转换和传输工作。具体怎么...

			
		

	





	

		

			

				
					
sqoop blob mysql_sqoop系列-sqoop MySQL 导入Hive JSON 字段乱码

				
			

			

				

					weixin_31572189的博客
				

				

					02-11
					
					338
					
				

			

		

		

			
				
问题简介最近业务方反馈依照导入MySQL表导入Hive有部分字段变更乱码，于是乎走上了解决乱码的不归路。集群信息服务器系统版本：centos 7.2cdh 版本：cdh5.9.0hadoop 版本：2.6.0+cdh5.9.0hive 版本：1.1.0+cdh5.9.0sqoop 版本：1.4.6+cdh5.9.0备注：涉及敏感信息的的变量，使用${xxxx} 代替问题定位首先，导入乱码想都不用想...

			
		

	





	

		

			

				
					
sqoop 导入mysql blob字段,重新解析存储在由Sqoop从Oracle导入的HDFS中的Blob数据

				
			

			

				

					weixin_35776153的博客
				

				

					02-11
					
					177
					
				

			

		

		

			
				
Using Sqoop I’ve successfully imported a few rows from a table that has a BLOB column.Now the part-m-00000 file contains all the records along with BLOB field as CSV.Questions:1) As per doc, knowledge...

			
		

	





	

		

			

				
					
oracle sqoop 导出_Sqoop将Hive字符串导出到Oracle CLOB

				
			

			

				

					weixin_32825955的博客
				

				

					12-31
					
					948
					
				

			

		

		

			
				
我想导出STRING来自Hive的数据到CLOB在Oracle中。Sqoop将Hive字符串导出到Oracle CLOB命令：sqoop export -Dsqoop.export.records.per.statement=1 --connect 'jdbc:oracle:thin:@192.168.41.67:1521:orcl' --username ILABUSER --password ...

			
		

	





	

		

			

				
					
解决sqoop1.4.4无法导入oracle的blob字段到hbase的问题

				
			

			

				

					kingmaxno1的专栏
				

				

					12-25
					
					3170
					
				

			

		

		

			
				
最近在做oracle到hbase的数据迁移，有一张表有blob字段，在导入时发现没有导入成功，在网上找了好久，都没有搞定，最后没办法只能研究一下sqoop的源码，自己解决了。
在研究源码后，发现sqoop中已经有了关于blob字段的处理方法了，但不知道什么原因，对hbase没有正确处理，存在bug。主要做如下修改:
在org.apache.sqoop.mapreduce.HBaseImport

			
		

	





	

		

			

				
					
使用kettle抽取oralce中包含clob字段的表

				
			

			

				

					ckae8456的博客
				

				

					08-14
					
					1690
					
				

			

		

		

			
				
在使用kettle在oracle之间迁移数据表时，同一个表格同一个字段在两个库中的数据类型均为clob，却报错为不支持的类型
			
			暂时的解决办法：在源数据库select时对clob进行一次转换，使用to_char这...

			
		

	





	

		

			

				
					
Sqoop抽取数据优化

				
			

			

				

					子小的博客
				

				

					05-08
					
					1338
					
				

			

		

		

			
				
1.怎么监控数据是否完全导入?
使用shell脚本去查询mysql中某表的数据。然后和hive中表的行数对比。
2.某表如果2G数据,设置多少个mapper合适?
建议128M(和块大小一致)一个mapper即可.
3.-m和split-by的优化
小量数据时(200M左右)： 最好使用一个map，快且减少小文件。
大量数据时：  要特别考虑数据的特征，对于spit-by最完美的情况是有一个:均匀...

			
		

	





	

		

			

				
					
SQOOP抽取各类型数据库脚本示例

				
			

			

				

					日进一步
				

				

					06-21
					
					2676
					
				

			

		

		

			
				
------------MySQL------------导入到HDFSsqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table people --fields-terminated-by ',' --target-dir /user/hive/warehou...

			
		

	





	

		

			

				
					
sqoop：数据转换工具

				
			

			

				

					eyeofeagle的博客
				

				

					08-20
					
					1839
					
				

			

		

		

			
				
要点如下：

安装配置
	关系型数据库<-->hadoop类型数据：互相转换
	使用 sqoop job

#测试jdbc连接
sqoop list-databases --connect 'jdbc:mysql://localhost:3306' --username 'root' --password 123456

#查询jdbc数据
sqoop eval --connect j...

			
		

	





	

		

			

				
					
sqoop export hive数据同步到oracle的用法

				
			

			

				

					白元霞的博客
				

				

					02-25
					
					2462
					
				

			

		

		

			
				
1、export 的参数

2、数据同步案例
 sqoop export \
 --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名 --password 密码\
 --table F_L_C_EUTRANCELLTDD_H \
 --columns \
            START_TIME,END_TIME,TIME_STAMP,DN,EUTRANCELLTDD_UK,EUTRANCELLTDD_NAME,ENBFUNCTION_UK,ENBF

			
		

	





	

		

			

				
					
PL/SQL 中查询CLOB字段内容

				
			

			

				

					aa8102980的博客
				

				

					08-15
					
					3466
					
				

			

		

		

			
				
oracle中的clob类型字段不能直接显示出来，需要借助Oracle系统dbms_lob中substr方法处理，如select dbms_lob.substr(clobField) from table
如果内容输出不全，进行如下设置
set heading off 不输出结果第一行的标题 （字段名称）
set long 40000 设置输出的字节数（比较大数）

转载于:ht...

			
		

	





	

		

			

				
					
sqoop抽取pg库 按字段

					
最新发布

				
			

			

				

					08-23
				

			

		

		

			
				
在`sqoop`中，如果想要按特定字段抽取`PostgreSQL`库的数据，通常使用的是`--where`选项来指定查询条件，而不是直接指定字段。这样可以指定只抽取满足特定条件的记录，而不仅仅是某个字段。

例如，如果你只想抽取用户表(`users`)中年龄大于18岁的用户数据，你可以这样做：

```bash
sqoop import \
--connect "jdbc:postgresql://your_host:port/database" \
--username your_username \
--password your_password \
--table users \
--query "SELECT * FROM users WHERE age > 18" \
--export-dir hdfs://path/to/exported_data \
--compress gzip
```
在这个例子中，`--query`参数告诉`sqoop`仅导出执行SQL查询结果的数据。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值