- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Presto源码整理 --提交与调度侧
DispachManager.createQuery createQueryInternal queryPreparer.prepareQuery[Statement,List,formattedQuery] sqlParser.createStatement getQueryType[DELETE,DESCRIBE,EXPLAIN,ANALYZE,INSERT,SELECT,
2021-11-04 15:42:21
315
原创 Hadoop+Hive+Spark环境win10搭建
依赖环境部署 1）jdk 1.8 开发环境部署与环境变量配置，参考JDK下载与配置 2）mysql 5.7 下载与安装，参考MySql下载与安装 3）scala 2.11.12下载与安装，下载地址Scala官网Hadoop安装与配置1、下载hadoop安装包与工具包 下载安装包：hadoop-2.7.7.tar.gz 下载工具包：工具包2、hadoop环境配置 1）解压安...
2020-04-25 19:12:43
1236
原创 ClickHouse高可用集群离线安装
一、安装前准备 1、JDK环境配置完成（1.8） 2、zookeeper集群搭建完成（3.6） 3、设备CPU需要支持SSE 4.2指令集#查看CPU是否支持SSE4.2指令集grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"...
2020-04-18 21:12:21
1483
原创 Redis 5.0 集群离线搭建
一、 搭建环境3*（2核，4G内存，50G硬盘，Centos 7.4)，IP分别为10.222.9.7010.222.30.8210.222.9.118二、 搭建流程1、下载、解压、编译Redis源码（在82机器上执行） 1) 下载redis-5.0.8.tar.gz源码包，下载地址：Redis官网 2) 创建/soft目录，上传源码包并进行解压sudo mkdir /s...
2020-04-17 18:11:46
456
原创 Spark on Yarn与Flink on Yarn连接kerberos认证的Hbase
Spark和Flink均为分布式计算引擎，在使用yarn作为资源调度器提交任务并且连接拥有Kerberos认证的Hbase时，同时面临着认证文件分发与获取的问题。两者的解决方案也是类似的，现在driver端加载认证文件，存储到分布式缓存，然后再Executor端获取文件目录进行认证.Spark on Yarndriver端 sparkSession.sparkContext.addFi...
2020-03-19 16:06:01
1658
1
原创 树莓成长记5-1：深入理解docker - namespace和cgroup
我们通过一个容器的inspect信息来说明docker的原理和架构体系docker inspect 647fc150e282打印信息为一串长JSON，其最外层信息如下我们对这些信息进行组织罗列(未完待续)...
2020-03-10 15:00:29
315
原创 树莓成长记4：docker基本操作
docker容器启动方法1：使用docker run命令即可启动容器创建后直接与容器内程序交互docker run -it redisdocker run --interactive --tty redis#参数解释-it :i->interactive 保持标准输入打开以接收指令t->tty 分配一个伪终端给容器创建容器让其后台运行docker run...
2020-03-08 18:05:21
156
原创 树莓成长记3：安装与配置docker
下载docker相关软件包树莓派4是arm架构，需要下载arm架构下的软件包wget https://download.docker.com/linux/ubuntu/dists/disco/pool/stable/arm64/containerd.io_1.2.6-3_arm64.debwget https://download.docker.com/linux/ubuntu/dist...
2020-03-08 16:24:23
329
原创 spark-submit yarn-client 模式下 --jars spark.driver.extraClassPath spark.executor.extraClassPath区别和联系
–jars作用是在运行时把jar包分发到worker的指定目录上，一般是/var/run/spark/work目录，但是并不会把这些jar包自动装载到executor的classpath中使用案例：单包：–jars /tmp/add1.jar多包：–jars /tmp/add1.jar,/tmp/add2.jarspark.executor.extraClassPath显式地将jar...
2020-03-06 22:56:05
5947
原创 树莓成长记1：树莓派4b 安装ubuntu系统，配置wifi、设置静态IP并开机启动
系统镜像下载硬件：Raspberry Pi 4b系统：Ubuntu 19.10系统下载链接：https://ubuntu.com/download/iot/raspberry-pi系统安装步骤格式化SD卡格式化工具：SD Card Formatter工具下载地址：http://www.canadiancontent.net/tech/download/SD_Card_Forma...
2020-02-27 14:17:50
11625
原创 树莓成长记2：树莓派4B挂载硬盘
最近想要使用三个树莓派4b搭建Hadoop+Spark+Flink集群，因为只有3个，所以就需要有一个既承担master节点又要承担数据节点的角色，安装的组件较多，对硬盘的需求高一些，所以准备外挂一个磁盘增加存储（本来只有16G内存卡），现在手头上只有一个，ubuntu系统也已经装好了，这就是为什么直接从2开始写的原因，等另外两个到货了再把1-安装ubuntu系统的过程补上。挂载硬盘的流程如下。...
2020-02-25 21:39:42
7456
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人