sqoop导入hive表时，去除列中的tab键回车键等

最新推荐文章于 2023-02-13 16:01:28 发布
最新推荐文章于 2023-02-13 16:01:28 发布
阅读量782 收藏
点赞数
分类专栏： HIVE SQOOP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raven_41/article/details/104059223
版权

sqoop import --connect jdbc:oracle:thin:@10.100.100.1:1521/orcl --username oracle --passowrd oracle --query "select * from oracle.sample where \$CONDITIONS and start_date < to_date('1999-10-31','yyyy-MM-dd')" --target-dir '/user/hive/warehouse/test.db/sample/start_date=19990930' -m 1 --delete-target-dir --null-string '\\N' --null-non-string '\\N' --hive-import --hive-database test --hive-table sample --hive-drop-import-delims --hive-partition-key start_date --hive-partition-value 19990930

鱼干片
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive安装第二步：CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，Navicat连接hive，MySQL驱动jar包
NotFound_error的博客
01-14 1525
CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.71.CentOS7中安装jdk1.8.02.CentOS7安装MySQL5.73. MySQL连接java，MySQL的驱动jar包下载4.CentOS7安装Hadoop2.10.14.1 hadoop-env.sh配置4.2 core-site.xml配置4.3 mapred-site.xml.template配置4.4 hdfs-site.xml配置4.5 修改环境配置4.6 初始化和启动dfs4.7运行W
hive
wywwyx090104的博客
06-23 491
hive 1.什么是hive,hive的作用 Hive一个数据仓库工具,可以将结构化的数据文件映射为一张表，并提供类似于SQL查询(HQL),本质是将Hive SQL转化成MapReduce程序. 2.hive工作原理 在hive中创建一张表,这张表要映射到hdfs中的数据(结构化的静态数据),形成映射关系; 表结构是根据要处理的数据来决定的,(描述表结构的信息,指定处理数据的位置)元数据,元数据存储在mysql中; 当在hive客户端中写sql语句时; 首先要加载mysql中的元数据; 然后解析sql语句
使用sqoop进行数据迁移遇到回车符、换行符问题
weixin_67805929的博客
02-13 1073
当使用sqoop进行数据迁移遇到换行符的问题可能会导致sqoop任务执行完迁移的数据条数与在hive中查询SQL得到的数据条数可能不一致，造成这个错误的原因大概率是换行符或者回车符的问题。在执行sqoop命令时加上如下命令即可成功实现中英文换行符、回车符等特殊符号的处理问题，本质就是将数据源的数据单元格里面的大的文本或者具有特殊符号的数据认定为string。--hive-drop-import-delim 删除特殊字符及换行符。-- 查询替换某个既含有换行符又含有回车符的字段。-- 此处替换为空格。
HIVE一些字符处理
qq_43118086的博客
05-29 2194
HIVE一些字符处理 1、去除回车、换行、tab regexp_replace(regexp_replace(regexp_replace(regexp_replace(str,’\,’,’，’),’\r’,’’),’\t’,’’),’\n’,’’) 2、字段中去除叠字 regexp_replace(user_name,’(.)\1+’,’’) 3、字段中去除汉字 REGEXP_REPLACE(user_name,’[^0-9a-zA-Z\u4e00-\u9fa5]’,’’) ...
sqoop导入导出hive，mysql 出现的问题
weixin_44121200的博客
03-27 847
sqoop导入导出hive，mysql 出现的问题 1.从mysql导入到Hive 出现数据带入错误：当字段中存在输入tab键，会被hive识别多创建一条字段。 解决：sqoop import 语句中 添加 --hive-drop-import-delims 来把导入数据中包含的hive默认的分隔符去掉。 2.出现PRIMARY主键错误：com.mysql.jdbc.exceptions.jdb...
sqoop去除换行符
LSB19930706的博客
04-24 588
--hive-drop-import-delims
hive hql去除数据中的空格内容
qq_28203321的博客
02-14 1万+
一、去除空格和tab的方法： 1、去除空格 用trim(只能将标准的英文空格删掉) 2、去除tab用如下方法 select regexp_replace(secdomainname,’\s+’,’’) from dwb_cndns_node_secdomain_d where … 3、有中文的的空格去除 regexp_replace(NVL(column,’’),’[\s]+|[\u3000]+|...
Hadoop生态从0到1_理论篇_[HDFS|Yarn|MapReduce|Hive]_CodingPark编程公园
CodingPark 编程公园
04-24 1万+
文章介绍： 本文将带领你进入Hadoop的生态世界，本文为Hadoop生态从0到1_理论篇
结课项目：IMDb网站Top250电影数据分析及可视化、对某一部电影的评论形成高频词字符云、监控评论、对该电影推荐用户（暂定）
坚决不做秃头少女
04-25 1986
一、网页分析 1. Top250页面分析 2.电影Pulp Fiction评论页面分析 二、Java WebMagic爬取信息 1. 爬取Top250电影的详细信息，以键值对形式保存为Json文件 2. 爬取电影Pulp Fiction的用户评论信息，以键值对形式保存为Json文件 三、数据清洗 将保存在本地的Json文件上传到HDFS中： hadoop fs -mkdir -...
数据分析大数据面试题大杂烩02
GavinKai
03-09 2392
Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co
hive某个字段中包括\n（和换行符冲突）
lhxsir的博客
11-23 2万+
用spark执行SQL保存到Hive中： hiveContext.sql(&quot;insert overwrite table test select * from aaa&quot;) 执行完成，没报错，但是核对结果的时候，发现有几笔数据超出指定范围（实际只包含100/200） 最终排查到是ret_pay_remark 字段包含换行符,解决方案：执行SQL中把特殊字符替换掉 regexp_replace(...
Hive之——总结
冰河的专栏
03-20 1604
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88674278 一、Hive命令说明 1.执行完立刻退出 使用hive -e 的形式 hive -e 'select count(*) from test' 2.不需看到其他无关紧要的信息 hive -S -e 'select count(*) from test' ...
Hive数据处理中去除字段中的换行符、分割符
qq_40389620的博客
09-01 1万+
demo: regexp_replace(需要处理的字段名称,'\\n|\\r|\\t','') as 重新命名
sqoop从mysql导入到hive常见问题
cclovezbf的博客
09-05 1407
mysql中的数据，表中列出了数据导入过程中的“脏”数据\t，\n，\r，Null，下面列出了解决思路 id=2 这里的des 里面有1个换行符实际为 1234 567 id=3 desc有一个\t 实际为1234 567 id=4 desc is null 如果直接通过一般的sqoop导入语句 bin/sqoop import \ --co...
sql语句中去除字符串中的回车换行
plan1990的博客
03-22 8891
sql语句中去除字符串中的回车换行 trim(列) 去除字符串两头的空格,但回车换行去不掉， replace(replace(列,chr(13),’’),chr(10),’’) oracle中去除 oracle中去除字符串中的换行符号 replace(replace(str,chr(13),’’),chr(10),’’) sqlserver中去除字符串中的换行符号 replace(replace(REPLACE(b.cyznr,char(10),’’),CHAR(13),’’),CHAR(32),’’
Hadoop去掉格，换行符，制表符，回车符，换页符【好吧，其实用正则表达式一下子就搞定了】
fujiaxiaoshao的博客
09-07 6854
第一步：将文档中的空格，换行符(\n)，制表符(\t)，回车符(\n)，换页符(\f)去掉 这时候可以采用两种方法 1.使用Hadoop将文本以默认的分隔符（空格，换行符，制表符，回车符，换页符）进行分割，并将分割后的字符串直接输出，这样子新的文档中将不包括这些分隔符。
【Hive】文本中的特殊字符处理\t\r\n
喜东东的博客
05-29 2万+
这几天处理存储于json字段中的html文本，碰到特殊字符导致数据与字段错位，很是烦躁。 \t：tab，跳格（移至下一列） \r：回车 \n：换行 解决方法： 1、修改表存储格式&lt;失败&gt; 2、regexp_replace&lt;替换&gt; hive&gt; select regexp_replace('\t abc \n def \r hij', '\n|\t|\r',...
SQL去除回车符，换行符，空格和水平制表符
热门推荐
书写人生
02-16 2万+
SQL去除回车符，换行符，空格和水平制表符，参考下面语句，一般情况是SQL接受富文本或是textarea的内容。在数据库接收到这些数据之后，还是对其做一些处理。   REPLACE(REPLACE(REPLACE(REPLACE([fieldName],CHAR(13),''),CHAR(10),''),CHAR(9),''),' ','')   其中： char(9)
怎么通过sqoop将hive表中指定的列字段准确导入mysql指定列字段
最新发布
06-08
可以使用Sqoop的--columns参数指定要导入的列字段，并使用--update-key参数指定更新记录所使用的列字段，具体操作步骤如下： 1. 首先，使用以下命令创建一个Hive表： ``` CREATE TABLE hive_table ( col1 string, col2 int, col3 string ); ``` 2. 然后，使用以下命令将数据从Hive导出到MySQL，并指定要导出的列字段和更新记录所使用的列字段： ``` sqoop export \ --connect jdbc:mysql://mysql_host/db_name \ --username your_username \ --password your_password \ --table table_name \ --export-dir /user/hive/warehouse/hive_table \ --columns "col1,col2,col3" \ --update-key col1 ``` 3. 替换上述命令中的mysql_host、db_name、your_username、your_password、table_name、col1、col2、col3为实际的值。 4. --columns参数后面的值是以逗号分隔的列名列表，例如"col1,col2,col3"。 5. --update-key参数指定更新记录所使用的列字段，例如上述命令中的col1。 6. 执行上述命令后，Sqoop将仅从Hive表中导出指定的列，并将其插入到指定的MySQL表中。如果MySQL表中已经存在相应的记录，Sqoop将使用指定的列字段更新该记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值