CDH 下 impala-shell 的使用 （输出csv， 中文ascii错误）

最新推荐文章于 2023-12-31 16:53:16 发布
最新推荐文章于 2023-12-31 16:53:16 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Hadoop/Spark/Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rav009/article/details/102697603
版权

使用impala-shell 导出csv数据的命令行：

impala-shell -i impalad.server -k --output_delimiter="," -B -f query.file -o output.csv

 

中文乱码问题：

UnicodeEncodeError: 'ascii' codec can't encode characters in position的错误。

在目录 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/bin/impala-shell 下，修改文件 impala-shell.py 文件。

在 import sys 那行下加入：

reload(sys)
sys.setdefaultencoding('utf-8')


 

爱知菜
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Impala-cdh集群安装部署
09-18
由于Impala的版本是CDH的，所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
大数据平台CDH和Impala的使用
02-24
Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。ClouderaManager的功能：管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。集成：多组件进行整合。ClouderaManager的架构：Server：负责软
【Impala】1.通过Impala连接hbase，insert into批量插入中文乱码解决方案
m0_37473279的博客
12-03 3424
通过Impala连接hbase，insert into批量插入中文乱码解决方案
往hive中导入文件后查看出现中文乱码
热门推荐
涤生大数据
06-25 1万+
往hive中导入.txt或者.csv文件，导入没有报错，导入后通过查询界面发现，中文字段出现乱码的情况。 因为Hive默认是所有文件都是UTF-8的（utf-8本身支持中文没有问题的。hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是一般我们导入的文件都是在windows下编辑的，而windows默认的中文文本输出编码格式为GBK.） Hive将按照UTF8编码格式...
CSS字体样式属性调试
Web_chicken的博客
09-08 7306
CSS字体样式属性调试 1.font-size font-size属性用于设置字号 p { font-size:20px; 2.font-family font-family用于设置字体 p { font-family:"Mirsoft YaHei"； } 网页中常用字体有宋体，微软雅黑，黑体等 可以同时指定多个字体，中间以逗号隔开，表示如果浏览器不支持第一个字体，则会尝试下一个,直到找到合适的字体，如果都没有，则以我们电脑默认的字体为准。 p { font-family:"Mirsoft YaHei"
impala中substr()截取中文字符串乱码的问题
03-10
impala的substr()和substring()函数是不支持中文的,创建一个udf解决impala sql中substr()函数截取中文字符串乱码的问题
Java JDBC 连接Impala,批量插入中文乱码
欢迎来到我的博客
06-04 478
Java JDBC 连接Impala,批量插入中文乱码
记录impala中文会乱码的情况。
qq_42389487的博客
07-06 1576
impala 视图中文乱码
impala和hive建表注释出现乱码
小海的专栏
07-11 7227
impala和hive建表注释出现乱码： Query: describe xxxx +--------------------+--------------+----------------------------------------+ | name               | type         | comment                              
java通过jdbc连接impala所需jar
05-31
博客中所需jar包，提供下载。java通过jdbc连接impala的方式之一
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
05-21
因为CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel命令生成的CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1文件hash不匹配，自己找到官网上的parcel.sha1文件解决了这个问题，共享给大家
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
08-05
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
把csv文件的数据，导入到impala表中
liuxingfeiyuesy的博客
03-18 1427
1.在把csv文件上传到hdfs中 dfs /test/marco/路径下 hdfs dfs -put /app/scripts/feaure/xxx/schedule.csv /test/marco/ 2.在impala建外部表 CREATE EXTERNAL TABLE if not exists feature.fea_schedule ( day_dt STRING COMMENT ‘日期’, schedule_ix int COMMENT ‘档期时间排序’ ) ROW FORMAT DELIMIT
impala-shell Unknown Exception : 'ascii' codec can't encode character
chiqian0129的博客
04-09 941
impala-shell导出数据时，如果导出字段中包含utf-8（如中文）字段时，会报以下异常： Unknown Exception : 'ascii' codec can't encode character u'\u5bb6' in position 259: ordinal not i...
Impala-shell 导入导出数据
justlpf的专栏
01-19 2200
参考文章：Impala-shell 导入导出数据 Impala-shell 导入导出数据 参数说明： • -q query （--query=query） 从命令行执行查询，不进入impala-shell • -d default_db （--database=default_db） 指定数据库 • -B（--delimited）去格式化输出 • --output_delimiter=character 指定分隔符 • --print_header 打印列名 • -f query_file
提数平台csv文件用excel打开中文乱码
激进的蜗牛
05-14 358
解决背景：utf8的bom头由\xEF,\xBB,\xBF组成Excel在读取csv的时候是通过读取文件头上的bom来识别编码的，如果文件头无bom信息，则默认按照unicode编码读取。（这个bom是微软自己定义的一种文件头部协定，顾名思义存储在文件头部，存储内容就是标识文件编码的信息。）而我们生成csv的平台不一定遵循微软的bom协议，导致如果输出非unicode编码的csv文件（例如utf-...
Impala导出csv文件
最新发布
n_avo7_i的博客
12-31 481
当数仓环境为大数据集群（impala），临时从数仓取数导出为 csv文件。使用impala-shell 命令把文件导出为本地 csv文件。impala-shell -h 查看帮助文档。
大数据Map Reduce 和 MPP数据库 的区别
rav009的专栏
09-06 1万+
下面在这篇文章里对MR的解释很好,从原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以Map Reduce之间会有一个shuffle的过程对Map的结果排序. Reduce的输入是排好序的. https://blog.csdn.net/dreamy_lin/arti...
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
回答1：</h3><br/>要将作业提交到CDH6.3.2的YARN集群上，需要使用以下命令： ``` spark-submit --master yarn --deploy-mode client --class <main-class> <application-jar> <application-arguments> ``` 其中，`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱知菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值