HIVE打开方式(一)

环境:测试环境
方式一:直接hive
hive> [ecs_platform@bj-ecs-jm429-D-a2-1-m610-2-null-7 hive]$ hive
WARNING: Use "yarn jar" to launch YARN applications.
Logging initialized using configuration in file:/etc/hive/2.4.0.0-169/0/hive-log4j.properties
hive> 

方式二:使用 bin/hive
[ecs_platform@bj-ecs-jm429-D-a2-1-m610-2-null-7 lib]$ cd ..
[ecs_platform@bj-ecs-jm429-D-a2-1-m610-2-null-7 hive]$ ls
bin  conf  doc  etc  hive.tar.gz  lib  log  man  metastore  scripts
[ecs_platform@bj-ecs-jm429-D-a2-1-m610-2-null-7 hive]$ pwd
/usr/hdp/2.4.0.0-169/hive
[ecs_platform@bj-ecs-jm429-D-a2-1-m610-2-null-7 hive]$ bin/hive
WARNING: Use "yarn jar" to launch YARN applications.
Logging initialized using configuration in file:/etc/hive/2.4.0.0-169/0/hive-log4j.properties
hive> 
### Hive 数据压缩方式及其实现 #### 开启中间传输数据压缩功能 为了提高性能和减少网络带宽消耗,在Hive中可以通过配置参数来启用中间传输数据的压缩。具体命令如下: ```sql SET hive.exec.compress.intermediate=true; ``` 这会使得Map阶段产生的临时文件被压缩后再传递给Reduce阶段,从而减少了I/O开销[^1]。 #### 设置最终输出数据的压缩选项 对于最终输出的结果集同样可以应用压缩技术以节省磁盘空间。通过下面两个指令可完成此操作: ```sql -- 启用最终输出结果的压缩 SET mapreduce.output.fileoutputformat.compress=true; -- 指定具体的压缩算法(如Gzip, BZip2等) SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec; ``` 这里`compress.codec`属性决定了采用哪种编码方式进行压缩,默认情况下可以选择多种不同的编解码器,例如gzip、bzip2或snappy等高效无损压缩工具[^3]。 #### 压缩格式的选择依据 当决定使用何种类型的压缩方案时,需考虑实际业务需求以及硬件资源状况。如果目标是在不影响读取速率的前提下尽可能减小文件体积,则应优先选用高压缩比但相对耗时较长的方法;反之则倾向于那些执行速度快而压缩效果般的策略。此外还需注意某些特定场合下的特殊要求,比如保持文件分割性和向后兼容性等问题[^2]。 #### 使用ORC文件格式优化存储结构 除了传统的基于行记录的传统文本形式外,还可以利用更先进的列式布局来进行组织化管理。像ORC这样的高级二进制序列化机制不仅具备良好的压缩特性,还允许快速定位所需字段位置进而提升查询响应时间。因此非常适合处理大规模数据分析任务[^4]。 #### 处理NULL值引发的数据倾斜现象 针对因为空缺项过多而导致连接运算低效的问题,种有效的解决方案是对这些缺失部分实施“加盐”变换——即将其转换成带有随机因子的新标记串,以此确保后续分组聚合过程中的负载均衡状态得以维持良好水平[^5]。 ```python import random from pyspark.sql import SparkSession spark = SparkSession.builder.appName("NullHandling").getOrCreate() def add_salt(column_value): salt_str = str(random.randint(1000,9999)) return f"{column_value}_{salt_str}" if column_value is None else column_value df_with_salt = df.withColumn("new_column", add_salt(df["original_column"])) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值