hadoop使用openJ9报错：unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule解决

FoxMale007

已于 2023-12-21 10:01:26 修改

阅读量723

点赞数 5

分类专栏：大数据文章标签： hadoop openj9 jdk hive java

于 2023-12-18 12:54:39 首次发布

本文链接：https://blog.csdn.net/applebomb/article/details/135060002

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

为了节约内存，使用IBM J9 JDK跑Hadoop 2.10.2，出现以下错误

org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule

除了改源码，还有一个比较简单的处理方式，就是打补丁。使用：

-javaagent:<path_to_setvendor8.zip>

配置etc/hadoop/hadoop-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
#适配OPENJ9
export HADOOP_OPTS="$HADOOP_OPTS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

配置etc/hadoop/yarn-env.sh

YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
#openj9适配
YARN_OPTS="$YARN_OPTS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

然后start-all.sh 跑起来跑起来，内存占用相当舒适

setvendor8.zip下载地址 https://download.csdn.net/download/applebomb/88639890

MapReduce的错误

按照以上的方式，可以跑起来了，但是执行操作的时候还是会报错。MR操作是子进程进行的，所以一直找子进程怎样实现。经过数小时折腾，终于找到了办法，不确定是哪个OPTS的作用，索性把所有的OPTS都加上了，最后mapred-site.xml长这样：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-javaagent:/opt/jdk-openj9-8/setvendor8.zip</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-javaagent:/opt/jdk-openj9-8/setvendor8.zip</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.admin-command-opts</name>
        <value>-javaagent:/opt/jdk-openj9-8/setvendor8.zip</value>
    </property>
</configuration>

然后可以配置hive，hive没有什么特别的，直接就可以跑起来

【2023-12-21】新增

如果要配置flink的继续看：

flink的配置主要是修改config.sh来适配，关键的改动点头部添加export环境导出javaagent：

#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
# limitations under the License.
################################################################################

export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export JVM_ARGS="$JVM_ARGS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

constructFlinkClassPath() {
    local FLINK_DIST
    local FLINK_CLASSPATH

这样在执行sql-client.sh embedded shell的时候就不会有报错了