hxjgjg的博客

Redis Plugin 初步配置 git clone 后在项目根目录下新建一个模块presto-redis 模块的初步配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati

spark 的源码中自带编译脚本build/mvn 该脚本会自动下载 scala zinc maven,通过命令行直接下载速度会非常慢，建议将下载链接复制到迅雷，然后将下载好的文件解压到build目录下，然后执行编译脚本命令 https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgz https://downloads.lightbend.com/zinc/0.3.15/zinc-0.3.15.tgz export MAVEN_OPTS.

编译hadoop的原因，官网的hadoop版本是预编译版，由于hadoop需要读写文件，不可能全部用java实现，需要c,c++编译成的动态链接库即.so文件。hadoop编译可以使它支持一些压缩工具。 笔者看了尚硅谷的hadoop教学视频，有意自主动手编译hadoop-3.1.3版本，从官网下载源码解压后发现有start-build-env.sh脚本，该脚本通过dev-support/docker下的Dockerfile文件构建了一个docker镜像，在该镜像构建时安装hadoop编译所需的环境工具。 .

笔者这里借鉴hadoop编译脚本start-build.sh的经验，构建docker容器，并将hive源码目录及家目录下的.m2用-v挂载到容器中。 我的Dockerfile文件如下 FROM centos:7 WORKDIR /root ADD jdk-8u291-linux-x64.tar.gz /opt/ RUN mv /opt/jdk1.8.0_291 /opt/jdk8 ENV JAVA_HOME /opt/jdk8 ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$J