大数据随想录
jorondo
这个作者很懒,什么都没留下…
展开
-
Hadoop+Hive+Spark环境win10搭建
依赖环境部署 1)jdk 1.8 开发环境部署与环境变量配置,参考JDK下载与配置 2)mysql 5.7 下载与安装,参考MySql下载与安装 3)scala 2.11.12下载与安装,下载地址Scala官网Hadoop安装与配置1、下载hadoop安装包与工具包 下载安装包:hadoop-2.7.7.tar.gz 下载工具包:工具包2、hadoop环境配置 1)解压安...原创 2020-04-25 19:12:43 · 1247 阅读 · 0 评论 -
ClickHouse高可用集群离线安装
一、安装前准备 1、JDK环境配置完成(1.8) 2、zookeeper集群搭建完成(3.6) 3、设备CPU需要支持SSE 4.2指令集#查看CPU是否支持SSE4.2指令集grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"...原创 2020-04-18 21:12:21 · 1501 阅读 · 0 评论 -
Redis 5.0 集群离线搭建
一、 搭建环境3*(2核,4G内存,50G硬盘,Centos 7.4),IP分别为10.222.9.7010.222.30.8210.222.9.118二、 搭建流程1、下载、解压、编译Redis源码(在82机器上执行) 1) 下载redis-5.0.8.tar.gz源码包,下载地址:Redis官网 2) 创建/soft目录,上传源码包并进行解压sudo mkdir /s...原创 2020-04-17 18:11:46 · 464 阅读 · 0 评论 -
Spark on Yarn与Flink on Yarn连接kerberos认证的Hbase
Spark和Flink均为分布式计算引擎,在使用yarn作为资源调度器提交任务并且连接拥有Kerberos认证的Hbase时,同时面临着认证文件分发与获取的问题。两者的解决方案也是类似的,现在driver端加载认证文件,存储到分布式缓存,然后再Executor端获取文件目录进行认证.Spark on Yarndriver端 sparkSession.sparkContext.addFi...原创 2020-03-19 16:06:01 · 1667 阅读 · 1 评论 -
spark-submit yarn-client 模式下 --jars spark.driver.extraClassPath spark.executor.extraClassPath区别和联系
–jars作用是在运行时把jar包分发到worker的指定目录上,一般是/var/run/spark/work目录,但是并不会把这些jar包自动装载到executor的classpath中使用案例:单包:–jars /tmp/add1.jar多包:–jars /tmp/add1.jar,/tmp/add2.jarspark.executor.extraClassPath显式地将jar...原创 2020-03-06 22:56:05 · 5987 阅读 · 0 评论