TomAndersen的博客

前言操作系统：CentOS 7hadoop：2.7.7hive：2.3.0Hive中配置snappy压缩，可以分别在Mapper输出阶段和Reducer输出阶段使用压缩算法。也可以将压缩后数据文件加载到表中用于查询，Hive会通过后缀名自动识别对应的压缩格式，并在查询时进行解压，但需要保持数据文件和表格式相同，否则只会显示结果全为NULL查看本机目前可供Hadoop使用的压缩算法使用以下命令，可以查看是否有相应压缩算法的库，如果显示为false，则需要额外安装（CentOS

前言Hive：2.3.0由于实际生产环境中，Hive自带的内建函数无法覆盖所有的应用场景，所以时常需要进行自定义函数User-Defined Function（UDF），以满足实际生产需求。本文主要演示如何实现自定义表生成函数User-Defined Table-Generating Function（UDTF），此类函数的特点是一进多出创建Hive函数时，如果指定为临时的（temporary）则可以在所有数据库下使用，但只能在当前会话中使用，退出后自动删除；如果指定为持久的（per

前言Hadoop官方在Hadoop安装包的share/hadoop/mapreduce/路径下提供了TestDFSIO工具，专门用于测试HDFS的吞吐量Hadoop版本：2.7.71）HDFS写性能测试测试命令示例：hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jo...