探索技术世界

[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project spark-hive-thriftserver_2.10: Execution scala-compile-first of goal net.alchim31.mav...

  在使用Gitlab的公司，使用Gitlab提供的各项功能，实现公司代码的管理、自动化编译同步等，具有非常明显的优势。通Jenkins相比，使用CI/CD可以个性化定制自己的编译内容，并触发执行，无需实现设置crontab配置。   本小节主要是Git-Runner的安装。 更新repo ## 打开配置文件 vim /etc/yum.repos.d/gitlab-ci-multi-...

  在使用Gitlab的公司，使用Gitlab提供的各项功能，实现公司代码的管理、自动化编译同步等，具有非常明显的优势。通Jenkins相比，使用CI/CD可以个性化定制自己的编译内容，并触发执行，无需实现设置crontab配置。   本小节主要是Git-CI/CD配置。 样例配置 stages: - build build_staging: stage: build ...

Ganglia是一款优秀的监控软件，能够监控节点级别以及组件级别的监控，并且与Nagios配合可以做到监控提示的发送通知功能。 Ganliga安装 预先安装配置 ## 服务器端 yum -y install rrdtool epel-release ganglia-devel ganglia-gmetad ganglia-gmond ganglia-web httpd php #...

Hadoop集群配置自己动手搭建一个Hadoop集群，对于Hadoop的学习、理解非常有帮助，从中能够学习到Hadoop常用的端口、配置文件、配置信息等内容。准备工作 四台机器：master、slave1、slave2、slave3； 在master上开通外网访问权限，slave1\slave2\slave3无需外网访问权限； 下载JDK1.8.0_111； 在master上安装vim\wget\t

相比Hadoop的配置，Spark配置起来相对简单。本文结合自身的配置经验，写下配置Spark的过程。准备工作在正式配置之前，需要确定环境是否适合安装Spark集群。 确保已经安装JDK/JRE； 安装Hadoop(非必要)； 确保已经安装SCALA； MASTER\SLAVE的IP地址已经配置在/etc/hosts中。 Spark配置配置文件.spark-env.sh：export JAVA_HO

环境依赖Hive必须运行在Hadoop之上，则需要先安装Hadoop环境。关于Hadoop的安装可以参考我前文的博客，也可以参考原文作者的链接。安装Hive1.下载Hive http://apache.mirrors.ionfish.org/hive/ 我安装的是apache-hive-1.2.1-bin.tar.gz[hadoop@hftclclw0001 ~]$ pwd /home/hado

最近在研究基于内存处理技术，其中就有比较出名的Apache Ignite的项目。应用场景是，通过Spark/Java等工具处理Parquet文件，但是直接通过Java API处理Parquet文件的性能较差，主要原因在于不能实现并行化处理。本文结构： Ignite特性； 四节点安装Ignite、配置CDH-Spark环境变量； 测试Ignite。 Ignite特性Ignite的应用场景比较多，主要用