qq_45493430的博客

原创 ARM_kafka搭建

ARM_KAFKA搭建文档一、搭建环境搭建服务器IP环境kafka版本号20.10.0.xxCentOS Linux release 7.9.2009 (AltArch)kafka_2.12-2.2020.10.0.xxCentOS Linux release 7.9.2009 (AltArch)zookeeper_3.7.0二、搭建步骤1、使用docker-compose容器管理文件进行一键启动docker环境。安装路径为：/data/kafkave

原创 elasticsearch集群搭建

elasticsearch ARM架构集群搭建一、搭建环境搭建服务器IP环境es版本号路径20.10.0.xxCentOS Linux release 7.9.2009 (AltArch)elasticsearch-7.13.1-aarch64./data/elsticsearch/*20.10.0.xxCentOS Linux release 7.9.2009 (AltArch)elasticsearch-7.13.1-aarch64/data/elstics

原创 python监控mysql脚本常用工具类

python监控mysql脚本定时任务常用工具类1、zip将一个文件中的文件压缩 def zip_ya(self,startdir, file_news): z = zipfile.ZipFile(file_news, 'w', zipfile.ZIP_DEFLATED) # 参数一：文件夹名 for dirpath, dirnames, filenames in os.walk(startdir): fpath = dirpath.rep

原创 docker容器的使用

标题docker 安装及命令一、docker linux中如何安装 安装Docker-CE yum install -y yum-utils device-mapper-persistent-data lvm2 增加最新版本的Docker安装仓库 yum-config-manager --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 安装Docker-CE版本

原创 Spark面试知识点在哪里？

spark面试必备总结之前发步的第一篇文章，是刚进驻CSDN发布的第一篇，写的不是很到位。在这里我从新更新一篇，那一篇就作为步入CSDN技术殿堂的一份小礼物吧！以此来警醒自己，让自己变得更加强大。Spark（集群管理器）架构图​ DAG :有向无环图 有了方向就不会循环。第一步 :首先初始化 Jvm （Driver），在Driver中创建SparkContext。...

原创 如何从Spark中脱颖而出

Spark的API操作1）转换算子**加粗**的都是常用的，希望可以帮助到大家！！Map(fun)：对源Rdd的函数操作应用返回一个新的RDD map（（word，1）） map(t2=>(t2,1))Filter(fun):对源rdd****的元素进行过滤，保留符合条件的元素返回一个新的rdd 列：* filter(t2 => ! t2....

原创 Scala重点总结

Scala重点总结[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1y126uCn-1575383302709)(D:\思维导图\Scala语法重重点.jpg)]scala类型层次结构：​ Any: Any是所有类型的超类，也称为顶级类型。它定义了个别通用的方法 equals、hashcode和toString。Any有两个子类 AnyVal、AnyRef...

原创 大数据Spark面试必备