qq_45493430的博客

原创 ARM_kafka搭建

ARM_KAFKA搭建文档 一、搭建环境 搭建服务器IP 环境 kafka版本号 20.10.0.xx CentOS Linux release 7.9.2009 (AltArch) kafka_2.12-2.20 20.10.0.xx CentOS Linux release 7.9.2009 (AltArch) zookeeper_3.7.0 二、搭建步骤 1、使用docker-compose容器管理文件进行一键启动docker环境。 安装路径为：/data/kafka ve

原创 elasticsearch集群搭建

elasticsearch ARM架构集群搭建 一、搭建环境 搭建服务器IP 环境 es版本号 路径 20.10.0.xx CentOS Linux release 7.9.2009 (AltArch) elasticsearch-7.13.1-aarch64. /data/elsticsearch/* 20.10.0.xx CentOS Linux release 7.9.2009 (AltArch) elasticsearch-7.13.1-aarch64 /data/elstics

原创 python监控mysql脚本常用工具类

python监控mysql脚本定时任务常用工具类 1、zip将一个文件中的文件压缩 def zip_ya(self,startdir, file_news): z = zipfile.ZipFile(file_news, 'w', zipfile.ZIP_DEFLATED) # 参数一：文件夹名 for dirpath, dirnames, filenames in os.walk(startdir): fpath = dirpath.rep

原创 docker容器的使用

标题docker 安装及命令 一、 docker linux中如何安装 安装Docker-CE yum install -y yum-utils device-mapper-persistent-data lvm2 增加最新版本的Docker安装仓库 yum-config-manager --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 安装Docker-CE版本

原创 Spark面试知识点在哪里？

spark面试必备总结 之前发步的第一篇文章，是刚进驻CSDN发布的第一篇，写的不是很到位。在这里我从新更新一篇，那一篇就作为步入CSDN技术殿堂的一份小礼物吧！以此来警醒自己，让自己变得更加强大。 Spark（集群管理器）架构图 ​ DAG :有向无环图 有了方向就不会循环。 第一步 :首先初始化 Jvm （Driver），在Driver中创建SparkContext。...

原创 如何从Spark中脱颖而出

Spark的API操作 1）转换算子 **加粗**的都是常用的，希望可以帮助到大家！！ Map(fun)：对源Rdd的函数操作应用返回一个新的RDD map（（word，1）） map(t2=>(t2,1)) Filter(fun):对源rdd****的元素进行过滤，保留符合条件的元素返回一个新的rdd 列：* filter(t2 => ! t2....

原创 Scala重点总结

Scala重点总结 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1y126uCn-1575383302709)(D:\思维导图\Scala语法重重点.jpg)] scala类型层次结构： ​ Any: Any是所有类型的超类，也称为顶级类型。它定义了个别通用的方法 equals、hashcode和toString。Any有两个子类 AnyVal、AnyRef...

原创 大数据Spark面试必备