shell执行hive sql 中文乱码，hue执行中文正常

最新推荐文章于 2021-02-15 23:28:16 发布
最新推荐文章于 2021-02-15 23:28:16 发布
阅读量674 收藏
点赞数
分类专栏： hive shell 文章标签： shell hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuewen_1008/article/details/107774575
版权

在CDH集群搭建完成后开始搭建数仓部分，首先是在HUE下执行sql等，一个产品线由ods->dwb->dwd->dws 就绪后开始配置脚本，可是在脚本中有些是对中文字段的处理，定时执行后的脚本中文全部乱码。经过一通折腾问题解决。

乱码、对中文截取（包含市的，将市截掉）不起作用（乱马引起）

shell脚本最开始地方加入

export LANG=zh_CN.UTF-8

xuewen_1008
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell script中执行sql语句，返回结果中文乱码问题
zhoucheng05_13的博客
10-09 3511
问题描述 有一个需求，需要编写一个脚本向远程数据库拉取数据并生成一个文件。在编写完成并运行后，发现文件中的中文为乱码。 脚本中的查询命令如下所示： QUERY_CMD="mysql -h${HOST} -u${USER} -p${PWD} -sBN " RESULT_FILE="SELECT * FROM school.student;&amp
Hue 调度出现乱码问题
weixin_43370502的博客
09-04 1390
最近BI反馈数据有问题，排查了下发现是业务的BUG导致的，重新调整了代码，在重新跑数据的时候，需要把业务上的测试数据过滤掉，然后在where条件后加了个过滤条件，而过滤条件是中文，在执行语句的时候，sql也不报错，但是测试数据还在，在后台手工跑数据是能过滤掉的，排查了下原因出在平台上，平台的字符不是默认UTF8，在把sql提交到yarn执行时中文变成了乱码不识别，自然过滤条件不就生效了，需要指定参...
Shell脚本中执行Hive语句插入中文数据乱码
weixin_38023225的博客
04-29 1099
问题描述 通过shell脚本插入数据到hive数仓，出现中文乱码。而单独通过hive查询窗口插入中文数据不乱码 原因分析 Shell脚本解析Hive语句中的中文乱码，导致Hive插入中文数据乱码 解决方案 Shell脚本头部加上语句 export LANG=zh_CN.UTF-8 再次执行，中文乱码问题解决 ...
hue hive 转mysql null_HIVE 乱码以及 HUE SQL 语句兼容性的记录（遇到应该会一直更新）...
weixin_42512719的博客
02-15 120
最近在 HUE 里面查询有中文字段相关的东西被报错警告。。。(1366, Incorrect string value: \\xE4\\xBA\\xAC\\xE4\\xB8\\x9C... for column search at row 1)通过调整 HUE 使用的某些元数据表的表编码来解决这个问题：ALTER TABLE desktop_document2 modify column name...
shell中循环调用hive sql 脚本的方法
09-15
在IT行业中，尤其是在大数据处理和自动化任务执行的场景下，Shell脚本与Hive SQL的结合使用非常常见。本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句，以便实现批量处理数据或者执行一系列相关的查询操作。 ...
hive-shell批量命令执行脚本的实现方法
09-15
本文将详细讲解如何使用Hive与Shell结合，实现批量执行Hive命令的脚本，这对于数据处理和ETL（提取、转换、加载）流程来说是极其有用的。 首先，我们需要设置Hadoop和Hive的环境变量。在上述脚本中，`HADOOP_HOME` ...
使用shell脚本执行hive、sqoop命令的方法
09-15
### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域，Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析，而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率，简化...
SQL、Hive SQL等SQL血缘解析工具
01-14
// 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...
Hive学习之路 （八）Hive中文乱码
mnasd的博客
07-28 1278
目录 Hive注释中文乱码 针对元数据库metastore中的表,分区,视图的编码设置 1、进入数据库 Metastore 中执行以下 5 条 SQL 语句 2、修改 metastore 的连接 URL 验证   正文 回到顶部 Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create externa...
HIVE读取中文数据乱码
weixin_42240930的博客
04-12 2121
我遇到的这种问题实际原因还是在数据存的那一步，之所以这个标题是因为我搜的时候用这个标题搜不到正确答案。 我使用hive的jdbc，insert中文进一张hive表，指定项目编码和hive表的编码都不管用，仍然乱码。 解决方法： hive jdbc存数据的时候把字符串转一下编码（第三列是中文字段） String p1 = tmp.get(i).split(",")[0]; String p...
【Hive】Hive执行脚本的方式以及转义字符
weixin_30674525的博客
11-02 532
Hive执行脚本方式 转载于:https://www.cnblogs.com/zyber/p/9895247.html
xshell mysql中文乱码_Xshell连接mysql数据库乱码问题解决思路总结
weixin_42525106的博客
01-19 253
乱码问题一直是一件让人头疼的事情，乱码就是编码格式不统一产生的，下面将一些常见的解决思路整理：先Xshell连接上数据库，查看数据的编码格式：一般需要看这么几个地方(附修改命令)：1、数据库的编码(4种方式视情况而定) 命令2、show create database 数据库名; 命令3、show variables like 'collation%'; 当然也有更全面的命令4、show vari...
hue 设置中文
热门推荐
haitangcola的专栏
05-24 1万+
1.修改配置文件 vi /opt/soft/hadoop/hue-3.10.0/desktop/core/src/desktop/settings.py LANGUAGE_CODE = 'zh_CN' #LANGUAGE_CODE = 'en-us' LANGUAGES = [ ('en-us', _('English')), ('zh_CN', _('Simplified C
Hive 中文分区 展示 乱码 注释乱码问题
coderlaw's study
07-06 4332
遇到神一样的客户，遇到神一样的问题，用神一样的脚本来解决。 神问题： 1.要求分区名是中文 例如 dt=今天/city=杭州 插入不进去： 2.Select * from table 时,展示乱码 例如： hive> > select * from test_table_xuehuan13; OK 工作流目录 ????? 可见这里本来两个都是中文结果分区字段显示...
解决Hive中文乱码
神罗天征
10-15 6292
在Hive中建表时，添加字段commment中文注释以便查看，但是desc 表名时出现乱码"??"，网上查阅资料总结了一下解决方案，步骤如下： 1>在/etc/my.cnf中的[mysqld]后添加以下内容  init_connect='SET collation_connection = utf8_unicode_ci'  init_connect='SET NAMES utf8' ...
Hue中执行shell
wd1llc38的博客
11-14 1081
一、Hue中执行shell File Not Found Execption? 二、解决 shell 文本转为unix编码
hive mysql编码问题_Hive中文乱码 生产环境问题解决
weixin_26875051的博客
01-27 108
解决hive版本为 apache-hive-2.3.5-bin 中文乱码[root@flink-master1 ~]# mysql -uroot -pEnter password:在mysql中执行 进入都hive的库里面alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter tabl...
hive -f执行整体脚本时，报错下如何知道前面执行多少个了
后知后觉的it路
03-22 1026
      工作中，常将hive脚本写在一个 hive sql内，然后后台执行，如下：     cdh集群下： sudo -u  hdfs hive -f /cloud/qyjs-2016-03-08-part2.sql  &>  /cloud/qyjs-2016-03-08-part2.log   如果执行这个sql某块报错下，将 log拖拽到本地，然后搜 ...
shell 执行hive sql脚本
最新发布
07-12
要在 Shell 中执行 Hive SQL 脚本，你可以使用 `hive` 命令并指定脚本文件的路径作为参数。下面是一个示例： ```shell $ hive -f /path/to/sql/script.hql ``` 确保将 `/path/to/sql/script.hql` 替换为你实际的 SQL 脚本文件路径。`-f` 参数告诉 Hive 从指定文件中读取 SQL 语句并执行。 执行脚本时，Hive 会将输出打印到终端。如果你想将输出保存到文件中，可以使用重定向操作符 `>`，例如： ```shell $ hive -f /path/to/sql/script.hql > output.txt ``` 这将把执行结果输出到 `output.txt` 文件中。 希望对你有帮助！如有更多问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值