简丶致-CSDN博客

原创 CentOS7.x安装Python3

CentOS7.x安装Python31、下载python3的安装包这里可以使用wget指令，直接下载到Linux系统中。我们在python官网找到python3的包，然后复制链接，执行下面指令。wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz2、执行解压指令[root@hadoop001 software]# tar -xvf Python-3.7.2.tgz 3、执行安装指令# 首先进行配置[root@h

2022-02-20 11:39:01 839

原创 SparkStreaming状态操作和滑动窗口

SparkStreaming状态操作和滑动窗口 Spark是以采集周期处理数据，可以做到秒级。因此统计的是当前周期的数据汇总，但有些场景我们需要统计累加数据，例如：当天登录人数累加，当天某个广告的点击量累计，按小时统计首次登录人数等。这里我们需要用到以前周期的数据，因此我们需要将周期内的统计结果保存起来，用于下个周期使用。其实，我们自己也可以使用Redis缓存类工具做手动保存。这里SparkStreaming提供了状态维持的方法，便于操作，简单易用。1、UpdateStateByKey

2022-02-10 13:15:38 2006

原创 SparkStreaming对接Kafka数据源

SparkStreaming 对接kafka数据源使用SparkStreaming消费kafka中的实时数据，是流式数据处理的常用场景。下面利用对接kafka，实现词频统计。1、封装MyKafkaUtil由于对scala语言不是太熟悉，我这里使用Java语言编写工具类package cn.streaming.kafkaStream;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafk

2022-02-09 13:00:07 1280 1

原创 SparkStreaming基本数据源

SparkStreaming基本数据源SparkStreaming的大体流程图SparkStreaming分周期将数据封装在RDD中，底层抽象使用Dstream。本质还是对RDD中数据的处理。SparkStreaming基本数据源案例1. 文件流案例SparkStreaming支持各种文件系统中的文件流，如：HDFS、本地文件系统创建文件流的方式：读取HDFS上面的文件：streamingContext.fileStream[KeyClass, ValueClass,InputFo

2022-02-08 16:10:08 1932

原创 kafka生产者

kafka-生产者1、生产者案例使用Java程序编写kafka生产者程序案例：package cn.kafka.producer;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import java.util.Properties;public class kafkaProducer { /**

2022-02-06 22:12:19 825

原创 ArrayList类的学习

ArrayList 类1、ArrayList概述1.1 实现的接口Collection接口：里面相当于描述List的ADT（抽象数据类型）常见方法如下：public interface Collection<E> extends Iterable<E> { int size(); // 集合的大小 boolean isEmpty(); // 是否为空 void clear(); // 清楚集合的内容 boolean contain

2022-02-04 21:20:26 682 1

原创 JDBC增删改查案例

JDBC增删改查案例1.概述为了支持各大编程语言能够操纵数据库，完成对数据库的增删改查。各大厂商各自编写了连接自己数据库的JDBC实现程序。这个JDBC接口模板则由Java程序的设计者提供，由数据库厂商自己完成逻辑编写。对于最早的平台服务应用，由于没有各大ORM框架，我么基本所有的数据库操作都需要程序员自己编写，最底层就是对JDBC程序的封装。现在由于ORM框架的兴起，程序编写者只用更加注重业务逻辑的编写，对于数据库的连接管理基本都是框架自动完成，大大方便了程序编写者。这里探究JDBC的应用，

2022-02-03 16:09:50 1663

原创 MaxWell的使用

Maxwell的使用1、Maxwell的概述1.1 官网简介 This is Maxwell’s daemon, an application that reads MySQL binlogs and writes row updates as JSON to Kafka, Kinesis, or other streaming platforms. Maxwell has low operational overhead, requiring nothing but mysql and a

2022-01-28 15:15:17 7986 1

原创 JDK动态代理实现切面Logger

JDK动态代理完成日志添加JDK动态代理是通过java.lang.reflect包下的工具类实现的1、编写接口编写calculator接口package cn.dynamic.proxy.logger;public interface Calculator { // 定义四则运算 public Integer add(int i,int j); public Integer sub(int i,int j); public Integer mult(int

2022-01-26 13:31:19 657

原创阿里云环境下搭建HadoopHA集群

阿里云环境下搭建HadoopHA集群1. HadoopHA介绍1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置副本策略、管理数据块的映射信息以及处理客服端的读写请求，由此可见namenode节点的压力还是比较大；

2021-08-12 15:40:20 2123 5

weixin_44825085的博客