波波鱼头-CSDN博客

原创 Flink处理数据写入mysql（scala实现）

import java.sql.{Connection, DriverManager, PreparedStatement}import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}import org.apache.flink.streaming.api.scala._/* * 建表

2021-03-24 20:16:02 2006 1

原创 Spark

一、概念什么是Spark？Spark是一个快速、通用、可扩展的大数据分析引擎。（详见官网：http://spark.apache.org/）简介1）于2009年诞生于加州大学，采用Scala语言编写。2） 2010年开源。3） 2013年6月成为Apache孵化项目。4） 2014年2月成为Apache顶级项目。特点 :四个特性是什么？高效性：基于内存的运算，相当于Hadoop的mapreduce的100倍，计算中的结果存在内存中，Spark实现了高效的DAG执行引擎。易

2021-03-24 19:31:53 178

原创 Flink自定义数据源（scala实现）

import org.apache.flink.streaming.api.scala._case class SensorReading(id: String, timestamp: Long, temperature: Double)//样例类对象object Sensor { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment

2021-03-24 19:19:37 563

原创如何解决Azkaban中web页面访问失败

如何解决Azkaban中web页面访问失败步骤如下：1. 细心检查配置文件；1）进入azkaban web服务器安装目录 conf目录，查看azkaban.properties文件是否正确。2）在azkaban web服务器安装目录 conf目录，修改azkaban-users.xml 文件，增加管理员用户。3）进入执行服务器安装目录conf，查看azkaban.properties是否正确。2. 检查节点是否正常启动；[hadoop@hadoop102 server]$ jps3601

2021-01-11 22:03:46 4848

原创 Zookeeper

Unit4：大数据技术进阶（Zookeeper）本章节学习目标：1. 了解zookeeper的概述和架构2. 掌握集群中各个角色的作用3. 熟悉zookeeper集群的搭建4. 掌握内部原理5. 企业面试真题一、大数据概念1 概论:zookeeper是什么？1， Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题。2 ，ZooKeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节

2021-01-09 22:58:43 1266 5

原创 Zookeeper监听服务器节点动态上下线案例（扩展）

Zookeeper监听服务器节点动态上下线案例（扩展）需求：某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。具体实现：先在集群上创建/servers节点[zk: localhost:2181(CONNECTED) 10] create /servers "servers"Created /servers服务器端向Zookeeper注册代码package com.zkp.zkcase;import java.io.IOExcep

2021-01-09 22:41:36 129

原创 Shell

学习目标规划：1、了解操作系统的作用2、熟悉虚拟机的作用以及好处3、掌握linux的常见命令4、有关面试试题一、什么是操作系统提示：这里统计学习计划的总量例如：1、技术笔记 2 遍2、CSDN 技术博客 3 篇3、学习的 vlog 视频 1 个# 学习目标：提示：这里可以添加学习目标例如：一周掌握 Java 入门知识csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLm

2020-10-26 00:23:02 118

原创 Linux系统学习

Unit1：关于Linux的基础知识以及常用命令学习目标:1、了解什么是操作系统2、熟悉Linux的作用以及好处3、熟练掌握linux常见命令4、掌握有关面试试题一、什么是操作系统？总结:1>没有安装操作系统的计算机，通常被称为裸机2> 如果想在裸机上运行自己所编写的程序，就必须用机器语言书写程序3> 如果计算机上安装了操作系统，就可以在操作系统上安装支持的高级语言环境，用高级语言开发程序常见的操作系统有哪些作用:1> 是现代计算机系

2020-10-21 23:33:13 294 1

m0_51113511的博客