es源码笔记1--es源码环境搭建

1 简介

由于工作方向是大数据搜索，因此最近着手深入了解es的实现原理，学习以下相关源码。以下是笔者搭建的es调试环境的步骤，贴在此处以便于查阅，后续相关问题会继续更新在这里。

2 搭建过程

2.1 软件环境

• java version “1.8.0_201”
• Gradle 4.3
• IntelliJ IDEA 2020.1 (Ultimate Edition)
• Ubuntu 20.04 x64
• elasticsearsh-6.1.2
  java 和 gradle，直接配置到环境变量中即可，笔者配置在~/.bashrc中，内容如下：

  export JAVA_HOME=/home/xg/soft/usuallyused/jdk1.8.0_201
  export GRADLE_HOME=/home/xg/soft/usuallyused/gradle-4.3
  export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$MAVEN_HOME/bin:$CUDA_HOME/bin:$GRADLE_HOME/bin
  

2.2 生成IDEA配置

配置好java和gradle环境后，解压es源码
cd elasticsearch-6.1.2/
./gradlew idea
如下出现BUILD SUCCESSFUL 即位生成IDEA配置成功，若是第一次生成idea配置可能需要下载一些配置文件和依赖包。

~/elasticsearch-6.1.2$ ./gradlew idea
To honour the JVM settings for this build a new JVM will be forked. Please consider using the daemon: https://docs.gradle.org/4.3/userguide/gradle_daemon.html.
Daemon will be stopped at the end of the build stopping after processing

> Configure project :benchmarks 
Gradle now uses separate output directories for each JVM language, but this build assumes a single directory for all classes from a source set. This behaviour has been deprecated and is scheduled to be removed in Gradle 5.0
        at build_uqftuqqq3t8c5r17fjw69ktu.run(/home/xg/elasticsearch-6.1.2/benchmarks/build.gradle:31)
        (Run with --stacktrace to get the full stack trace of this deprecation warning.)
=======================================
Elasticsearch Build Hamster says Hello!
=======================================
  Gradle Version        : 4.3
  OS Info               : Linux 4.9.0-11-amd64 (amd64)
  JDK Version           : Oracle Corporation 1.8.0_201 [Java HotSpot(TM) 64-Bit Server VM 25.201-b09]
  JAVA_HOME             : /home/xg/soft/jdk1.8.0_201
  Random Testing Seed   : 3FDE87BE65FC5A8F


BUILD SUCCESSFUL in 16s
177 actionable tasks: 138 executed, 39 up-to-date

2.3 IDEA 配置

将项目倒入到IDEA中，通过Run->Edit Configurations->Configuration配置相关参数：

1. Main class
   org.elasticsearch.bootstrap.Elasticsearch
2. VM options
   -Des.path.home=/home/xg/file/src/bigdatasrc/elk/es6.1.2
   -Des.path.conf=/home/xg/file/src/bigdatasrc/elk/es6.1.2/config
   -Djava.security.policy=/home/xg/file/src/bigdatasrc/elk/es6.1.2/config/java.policy
   -Dlog4j2.disable.jmx=true
   -Xms1g
   -Xmx1g
   在path.conf目录下新建 java.policy, 并添加如下内容，否则可能出现access denied的错误

   grant {
       permission java.lang.RuntimePermission "createClassLoader";
   };
   

3. Working directory
   /home/xg/file/src/bigdatasrc/elasticsearch-6.1.2
4. Use classpath of module
   elasticsearch-6.1.2.core.main
   设置完以上4个参数后，确认即可，以下为配置好的效果：
   
5. 下载同版本的es 二进制安装包，将config moudles plugins 等3个文件夹拷贝到上述的-Des.path.home目录，也可以使用自己编译好的es安装包，然后解压拷贝对应文件

2.4 调试输出

在IDEA 中点击RUN 即开始调试项目，如下输出即正常调试：
[o.e.n.Node ] [M7K0Dso] started 输出表明节点正常启动了，如下图
此时可以在浏览器通过127.0.0.1:9200来查看节点信息，如下图：

3 说明

注意事项

由于在生成idea配置、reimport all gradle projects的过程中会下载很多国外源，国内下载很慢，甚至经常失败，因此建议初次生成的时候使用网速较快的外网；
也可参考手把手教你用idea运行调试Elasticsearch源码 里面的方法修改为国内源；
或者申请一个按时间计费的阿里云海外服务器，搭建一个open_p_v_n来解决临时需求，网上搭建教程也比较多。

参考文献

Elasticsearch 源码解析与优化实战.张超
手把手教你用idea运行调试Elasticsearch源码