Impala5.7.1编译测试中遇到的问题汇总

最新推荐文章于 2023-02-23 21:42:30 发布

mysear

最新推荐文章于 2023-02-23 21:42:30 发布

阅读量618

点赞数

文章标签： impala build

本文链接：https://blog.csdn.net/mysear/article/details/51942096

版权

在编译Impala5.7.1时，涉及到hadoop-lzo的编译问题。首先通过git克隆hadoop-lzo仓库，并在build.xml中添加classpath引用以解决javah编译错误。然后编译hadoop-lzo。接着，克隆并处理Impala-lzo项目，注释掉hdfs-lzo-text-scanner.h中的GetImpalaBuildVersion函数以避免冲突。

摘要由CSDN通过智能技术生成

namenode 无法启动：
1.查看 /etc/sysconfig/network 中hostname
2.将hostname与ip地址对应关系增加到 /etc/hosts 重启

集成测试准备条件
1.下载hadoop-lzo(直接jar文件)和impala-lzo（git clone源码），放到和impala源代码同一级目录

hadoop-lzo

a> git clone https://github.com/kevinweil/hadoop-lzo

b>在hadoop-lzo文件夹下的build.xml中javah处添加<classpath refid="classpath"/>
<javah classpath="${build.classes}"
           destdir="${build.native}/src/com/hadoop/compression/lzo"
           force="yes"
           verbose="yes">
      <class name="com.hadoop.compression.lzo.LzoCompressor" />
      <class name="com.hadoop.compression.lzo.LzoDecompressor" />
      <classpath refid="classpath"/>
    </javah>

c>编译hadoop-lzo

export CFLAGS=-m64 && export CXXFLAGS=-m64 &&  ant compile-native tar

d>编译错误：未安装新版本的ant可能导致编译错误

Impala-lzo/

a>git clone https://github.com/cloudera/impala-lzo.git Impala-lzo

b>注释掉hdfs-lzo-text-scanner.h中的extern "C" const char* GetImpalaBuildVersion() { return GetDaemonBuildVersion(); }

2.cp -r thirdparty/squeasel/ be/src/

非git管理下impala修改：
1. /home/impala/Impala-cdh5.7.1-release/bin/clean.sh 中去掉git clean部分
2. mkdir toolchain
avro-1.7.4-p4 bzip2-1.0.6-p1 gflags-2.0 gperftools-2.0-p1 llvm-3.3-no-asserts-p1 llvm-3.7.0 openldap-2.4.25 re2-20130115-p1 thrift-0.9.0-p4
boost-1.57.0 gcc-4.9.2 glog-0.3.2-p1 gtest-1.6.0 llvm-3.3-p1 lz4-svn rapidjson-0.11 snappy-1.0.5 zlib-1.2.8