u012453032的博客

构建Ambari 安装HDP环境大致包含这几个步骤(1) SSH免密登陆(2) hosts配置（所有机器必须执行）(3) 防火墙管理 （所有机器必须执行）(4) 安装JDK （所有机器必须执行）(5) 构建本地yum源(master 主机安装)(6) 安装mysql (master 主机安装)(7) 初始化Ambari和HDP库 (master 主机)(8) 安装Ambari (m...

最近需要spark进行文件处理，需要提交数据到spark上就想着通过http 把文件上传到hdfs上，在进行数据计算 public class HDFSCommon { static public void copyfileToHdfs(Configuration config, String url, File file) { try { ...

前段时间做了一个项目，客户无法将数据拿到外网，只能通过在内网构建OSS对象存储，我们本身依赖极道的平台来做业务，他们采用了s3的标准，就采用minio来构建开源的OSS对象存储空间，其实很简单docker pull minio/minio 从仓库拉镜像docker run -p 9000:9000 --name minio1 -e “MINIO_ACCESS_KEY=AKIAIOSFODNN...

原来用jetty 和 restful 做过驱动spark的计算框架，最近想用spring boot +scala + spark 重新做一个，一下是pom.xml 和代码分享pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns...