weixin_46155444的博客

文章目录Flink 流处理 API1.EnvironmentgetExecutionEnvironmentcreateLocalEnvironmentcreateRemoteEnvironmentSource2.从集合读取数据从文件读取数据读kafka 的数据自定义 SourceTransformmapflatMapFilterKeyBy滚动聚合算子（Rolling Aggregation）reduceSplit 和 SelectConnect 和 CoMapUnion3.支持的数据类型4.实现 UDF 函

Flink快速上手1.在IDEA创建maven工程FlinkTutorial2.在pom.xml中添加依赖和maven插件 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <v

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层 api其它特点对比sparkstreamingflink概述Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规来执行计算。Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架flink应用场景为什么选择flink流数据更真实地反映

Storm集群配置需要先开启zookeeper解压安装包[root@master software]# tar -zxvf apache-storm-1.2.3.tar.gz -C /usr/local/src[root@master software]# cd /usr/local/src[root@master src]# mv apache-storm-1.2.3/ storm配置环境变量[root@master src]# vim /etc/profile[root@master

文章目录Hive+Mysql安装mysql卸载amriadb下载mysql依赖包（yum安装）启动mysql服务查看mysql临时密码使用mysql安全向导登录登录mysql修改权限安装hive解压hive安装包配置环境变量解决jar包冲突修改配置文件格式化hive启动hiveHive+Mysqlhive基于hadoop hadoop配置完成再能继续配置hive安装mysql卸载amriadb[root@master software]# rpm -qa | grep mariadb[roo

文章目录HBase集群配置解压安装包配置环境变量分发环境变量修改配置文件建立软连接分发安装目录启动HBase集群HBase集群配置HBase基于hadoop和zookeeper所以进行HBase集群的配置安装要先进行hadoop和zookeeper的配置安装解压安装包[root@master software]# tar -zxvf hbase-1.2.4-bin.tar.gz -C /usr/local/src[root@master software]# cd /usr/local/src/

文章目录Spark集群配置部署模式对比spark-localspark-standalonespark on yarnspark HAspark历史服务器spark提交任务Spark集群配置部署模式对比模式Spark 安装机器数需启动的进程所属者应用场景Local1无Spark测试Standalone3Master 及 WorkerSpark单独部署Yarn1Yarn 及 HDFSHadoop混合部署端口号Ø Spark 查看当前

文章目录Flink集群配置flink-local解压安装包配置环境变量启动查看进程Flink-standalone模式解压安装包配置环境变量分发环境变量修改配置文件分发配置文件启动集群Flink on yarnSession-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件启动session运行自带wordcount程序关闭sessionPer-Job-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件Flink集群配置flink-local

文章目录HadoopHA环境部署配置主机映射配置免密登录安装jdk配置zookeeper解压zookeeper安装包配置环境变量修改配置文件分发zookeeper目录启动zookeeper集群配置hadoop配置环境变量尚大修改配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml修改配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml声明集群修改JAVA_HOME启动集群启动jou

Flume集群配置+案例解压flume安装包[root@master src]# tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src[root@master src]# cd /usr/local/src/[root@master src]# mv apache-flume-1.6.0-bin/ flume //更名配置环境变量[root@master src]# vim /etc/profile[root@master

Kafka集群配置kafka集群基于zookeeper 配置kafka时要保证zookeeper配置完毕并且能顺利启动解压安装包[root@master software]# tar -zxvf kafka_2.11-1.0.1.tgz -C /usr/local/src[root@master software]# cd /usr/local/src//更名[root@master src]# mv kafka_2.11-1.0.1/ kafka配置环境变量[root@master sr

Zookeeper集群配置zookeeper基于java没有java zookeeper集群起不来解压安装包[root@master software]# tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src/改名[root@master software]# cd /usr/local/src/[root@master src]# mv zookeeper-3.4.5/ zookeeper配置环境变量[root@master src]#

Hadoop全分布式前提准备好三台服务器关闭防火墙[root@master ~]# systemctl stop firewalld[root@master ~]# systemctl disable firewalld添加主机映射[root@master ~]# vim /etc/hosts分发映射[root@master ~]# scp /etc/hosts slave1:/etc/hosts[root@master ~]# scp /etc/hosts slave2:/etc/

Hadoop伪分布模式配置映射[root@master software]# vim /etc/hosts最下面增加自己ip和映射名ip 映射名配置自己的免密登录[root@master software]# ssh-keygen三次回车[root@master software]# ssh-copy-id master解压安装包[root@master software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/sr

文章目录MavenMaven项目架构管理工具下载安装Maven配置环境变量阿里云镜像本地仓库在IDEA中使用Maven创建一个普通的Maven项目标记文件夹功能pom文件解决导出无法生效问题Maven仓库的使用Maven我为什么要学习这个技术？在Javaweb开发中，需要使用大量的jar包，我们手动去导入；如何能够让一个东西自动帮我导入和配置这个jar包。由此，Maven诞生了！Maven项目架构管理工具我们目前用来就是方便导入jar包的！Maven的核心思想：约定大于配置有

文章目录Spark核心编程RDDRDD概述RDD核心属性（五大属性）执行原理RDD基础编程从集合（内存）中创建 RDD从外部存储（文件）创建RDD从其他 RDD 创建直接创建 RDD（new)RDD并行度和分区RDD算子介绍RDD 转换算子(value类型)mapmapPartitionsmapPartitionsWithIndexflatMapglomgroupByfiltersampledistinctcoalescerepartitionsortByRDD转换算子(双value类型)intersect

环境准备1.打开IDEA新建一个maven项目2.增加 Scala 插件Spark 由 Scala 语言开发的，开发前请保证 IDEA 开发工具中含有 Scala 开发插件[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nG8iJkqt-1626079796853)(spark快速上手.assets/image-20210123152434018.png)]3.下载scala由于需要scala进行编写，所以要安装scalahttps://www.scala-lan

@TOCspark入门使用（java）官方文档：https://spark.apache.org/docs/latest/api/java/index.html导入依赖创建maven项目并导入依赖，注意spark的版本 <!--spark的核心依赖--> <dependency> <groupId>org.apache.spark</groupId> <artifactId&

文章目录1.模式匹配基本语法模式守卫模式匹配类型匹配对象样例类异常处理scala异常护理隐式转换泛型协变和逆变泛型上下限上下文限定1.模式匹配基本语法Scala 中的模式匹配类似于 Java 中的 switch ,但是 scala 从语法中补充了更多的功能，所以更加强大。java中如下:int i = 10switch (i) { case 10 :System.out.println("10");break; case 20 : System.out.println("20");b