- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【HadoopShuffle原理剖析】基础篇二
当启动溢写操作时，首先需要把缓存中的数据进行分区，然后对每个分区的数据进行排序和合并（combine），之后再写入磁盘文件。在Map任务全部结束前，这些溢写文件会被归并成一个大的磁盘文件，然后通知相应的Reduce任务来领取属于自己处理的数据。数据倾斜指大量的key相同的数据交由一个reduce任务统计计算，造成”闲的闲死，忙的忙死“这样的现象。Map任务输出的key相同，一定是相同分区，并且肯定是相同的Reduce处理的，保证计算结果的准确性。保证每一个Reduce任务处理的数据大致是一致的。
2024-07-30 09:56:59
657
原创 Lock、ReentrantLock、 ReadWriteLock、CountDownLatch锁的基本使用
在前面介绍了Lock的基本使用，这一节来介绍一下与锁相关的几个概念。
2024-07-30 09:42:04
875
原创 OAuth 原理详解---授权服务配置（二）
授权服务配置配置一个授权服务，你需要考虑几种授权类型（Grant Type），不同的授权类型为客户端（Client）提供了不同的获取令牌（Token）方式，为了实现并确定这几种授权，需要配置使用 ClientDetailsService 和 TokenService 来开启或者禁用这几种授权机制。到这里就请注意了，不管你使用什么样的授权类型（Grant Type），每一个客户端（Client）都...
2024-07-30 09:41:48
858
原创 java线程锁的基本使用详解
Lock、ReentrantLock、 ReadWriteLock、ReentrantReadWriteLock、CountDownLatch
2023-08-04 14:43:32
594
原创 Flink Windows（窗口）详解
Windows是流计算的核心。Windows将流分成有限大小的“buckets”，我们可以在其上应用聚合计算（或）等。
2023-08-02 18:17:09
1218
原创 Flink State 和 Fault Tolerance详解
var vs : XxxState = _ //状态声明 override def open(parameters : Configuration) : Unit = {val xxd = new XxxStateDescription //完成状态的初始化 vs = getRuntimeContext . getXxxState(xxd) } override def xxx(value : Xx) : Xxx = {//状态操作 } }
2023-08-02 18:10:08
1025
原创 Flink DataStream API详解
如果使用SimpleStringSchema，仅仅能获取value，如果用户希望获取更多信息，比如 key/value/partition/offset ，用户可以通过继承KafkaDeserializationSchema类自定义反序列化对象。它根据给定的FileInputFormat读取指定路径下的文件，可以根据watchType定期检测指定路径下的文件，其中watchType的可选值为。，表示一旦文件内容发生改变，整个文件内容会被重复处理。的语义处理，如果是在生产环境下，推荐使用。
2023-08-02 18:03:22
968
原创 Apache Flink概述
例如具有3个Task Slot的TaskManager，则每个Task Slot表示占用当前TaskManager进程1/3的内存，每个Job在启动时都有自己的Task Slot，数目固定，这样通过Task Slot的划分就可以避免不同Job的SubTask之间竞争内存资源，以下表示一个Job获取6个Task Slot，但是仅仅只有5个线程，3个Task。），一个Flink计算任务通常会被拆分成若干个Task（阶段），每一个Task都有自己的并行度，每一个并行度表示一个线程（SubTask）。
2023-08-02 17:59:17
864
原创 HTML模板生成word，pdf文档
下载jar地址：https://mvnrepository.com/artifact/e-iceblue/spire.pdf/9.7.0。
2023-08-01 11:18:20
1747
原创 Excel转Pdf实现
把lib/目录下第三方jar包打进程序中，如上面的systemPath目录下的jar。下载jar地址 ： https://mvnrepository.com/此处为本地引入jar依赖。
2023-07-10 15:46:44
237
原创 【使用BasicDBObject操作Mongo】
使用BasicDBObject操作Mongo1. 使用 BasicDBObject 查询 mongo 示例2. 使用 BasicDBObject 更新 mongo 示例1. 使用 BasicDBObject 查询 mongo 示例import org.springframework.data.mongodb.core.MongoTemplate;@Autowired(required = false)private MongoTemplate mongoTemplate;public Lis
2022-04-20 10:24:46
2621
原创 Sprinboot+Hibernate+DM8(达梦8)整合实例
1. 创建数据库CREATE TABLE "SYSDBA"."ADDRESS"(ADDRESSID INT NOT NULL PRIMARY KEY,ADDRESS VARCHAR(60) NOT NULL,CITY VARCHAR(30));INSERT INTO "SYSDBA"."ADDRESS"(ID,ADDRESS,CITY) VALUES(1,'sihui','beijing');INSERT INTO "SYSDBA"."ADDRESS"(ID,ADDRESS,CITY) VALUES
2020-09-24 18:19:40
2385
1
原创 Spark DStreams
Spark DStreamsDStreams是什么DStreams是构建在Spark RDD之上的一款流处理工具，意即Spark DStreams并不是一个严格意义上的流处理，底层通过将RDD 在时间轴上分解成多个小的 RDD-micro batch流 | 批处理计算类型数据量级计算延迟输入数据输出计算形式批处理MB=>GB=>TB几十分钟|几个小时固定输入（全量）固定输出最终终止（时间限制）流处理byte级别|记录级别亚秒级延迟持续输入
2020-05-28 14:40:31
174
原创 Structured Streaming
Structured Streaming什么是Structured Streaming泛指使用SQL操作Spark的流处理。Structured Streaming是一个scalable 和 fault-tolerant 流处理引擎，该引擎是构建Spark SQL之上。可以使得用户以静态批处理的方式去计算流处理。Structured Streaming底层毁掉用SparkSQL 引擎对流数据做增量和持续的更新计算并且输出最终结果。用户可以使用 Dataset/DataFrame API完成流处理中的常见
2020-05-28 14:36:29
182
原创 Spark SQL
Spark SQLSpark SQL是构建在Spark RDD之上一款ETL（Extract Transformation Load）工具（类似Hive-1.x-构建在MapReduce之上）。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息（计算数据结构、转换算子），Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前为止Spark SQL提供了两种风格的交互API:Dataset-API /SQL脚本。Dataset API：
2020-05-28 14:31:53
131
原创 springcloud feign java.net.ConnectException: Connection refused: connect
异常1异常代码：@FeignClient("client-provider")public interface TestClient { //必须使用@RequestMapping,不能使用@GetMapping @GetMapping(value = "/test/{name}") String test(@PathVariable("name") String n...
2020-05-08 17:19:05
1693
原创 CentOS7构建docker私服管理镜像
使用私有仓库管理镜像很多场景下，需要使用docker私服管理镜像。相比Docker Hub 私有仓库有以下优势：节省带宽，对于私有仓库已有的镜像无需从Docker Hub 上下载，秩序从私有仓库中下载即可更加安全。无需网络服务便于内部镜像的统一管理可以使用docker-degistry项目或Docker Registry2.0 来搭建私有仓库，但docker-degistry一倍官方...
2020-04-22 11:02:20
358
原创 Docker部署springcloud微服务项目
1. 使用Dockerfile构建微服务镜像1. 打包微服务1、使用maven把eureka服务打包为 ***.jar 包2、上传jar到linux 文件目录下 例如：/usr/local/micro2. 创建Dockerfile文件添加如下内容FROM java:8 VOLUME /usr/local/docker/microADD eurekaser...
2020-04-20 16:17:20
701
原创 Docker入门
1. Docker 简介Docker是一个开源的容器引擎，它有助于更快的交付应用。Docker可将应用程序和基础设施层隔离，并能将基础设施当做程序一样进行管理。是赢Docker可以更快的打包，测试以及部署应用程序，可以缩短从编写到部署运行代码的周期。2. Docker 架构概念说明Client（Docker客户端）Docker客户端是 Docker的用户界面特可以接受...
2020-04-17 15:35:06
229
原创 OAuth 原理详解（一）
1、OAuth的简述OAuth（Open Authorization，开放授权）是为用户资源的授权定义了一个安全、开放及简单的标准，第三方无需知道用户的账号及密码，就可获取到用户的授权信息，并且这是安全的。2、名词定义在详细讲解OAuth 2.0之前，需要了解几个专用名词。它们对读懂后面的讲解，尤其是几张图，至关重要。（1） Third-party application：第三方应用程序，...
2020-03-30 13:33:49
3797
转载 理解OAuth 2.0
理解OAuth 2.0OAuth是一个关于授权（authorization）的开放网络标准，在全世界得到广泛应用，目前的版本是2.0版。本文对OAuth 2.0的设计思路和运行流程，做一个简明通俗的解释，主要参考材料为RFC 6749。OAuth Logo一、应用场景为了理解OAuth的适用场合，让我举一个假设的例子。有一个"云冲印"的网站，可以将用户储存在Google的照片，冲印出来...
2020-03-30 11:07:30
171
原创 springcloud配置参数说明
springcloud配置参数说明erver.port: #设置web项目服务端口号 spring.application.name=eureka-service: #设置服务名称 eureka.instance.hostname=localhost: #设置服务主机IP eureka.client.register-with-eureka: false #false...
2020-03-17 17:10:47
1106
原创 Spark-RDD
Spark-RDD概述俯视整个Spark程序，所有Spark的Application都包含一个Driver程序，该程序是用户的主函数以及在集群中执行各种各样的并行操作。在Spark中提出了一个核心的概念 resilient distributed dataset 简称 RDD，RDD是一个并行的分布式集合 ，该集合数据可以跨节点存储，所有的RDD操作都是在集群的计算节点中并行的执行。RDD可以...
2019-12-25 17:06:55
160
原创 Spark-环境搭建（Spark Yarn|Standalone）
Spark Yarn|Standalone基础环境关闭防火墙[root@centos ~]# service iptables stop # 关闭防火墙iptables: Setting chains to policy ACCEPT: filter [ OK ]iptables: Flushing firewall rules: ...
2019-12-25 15:47:04
123
原创 flume实时采集数据+Kafka+shell脚本+定时任务crontab
1.flume实时采集数据修改 Flume agent config 文件#cd 到flume的conf目录[root@localhost conf]# cd /usr/hdp/2.6.4.0-91/flume/conf# 编辑配置文件[root@localhost conf]# vim flume-Aerospace.confa1.sources = r1a1.sinks = k...
2019-12-17 14:58:36
918
原创 CentOS7+Ambria2.6.1.0+HDP2.6.4.0安装详细步骤
Ambria安装1.环境准备（在master，slave1，slave2，slave3）1.1. 环境说明masterslave1slave2slave3主机名master.ambria.comslave1.ambria.comslave2.ambria.comslave3.ambria.comIP192.168.18.140192.168.18...
2019-12-13 10:54:50
2314
1
原创 微服务架构介绍
微服务架构介绍（Spring Cloud 初级）一、 单体架构单体架构也称之为单体系统或者是单体应用。就是一种把系统中所有的功能、模块耦合在一个应用中的架构方式。1 单体架构特点 1.1打包成一个独立的单元(导成一个唯一的 jar 包或者是 war 包) 1.2会一个进程的方式来运行2 单体架构的优点、缺点2.1优点 2.1.1项目易于管理 2.1.2部署简单2.2缺点 ...
2019-05-24 09:40:02
144
原创 异常RollbackException，NoClassDefFoundError
1. Caused by: javax.persistence.RollbackException org.springframework.transaction.TransactionSystemException: Could not commit JPA transaction; nested exception is javax.persistence.RollbackExceptio...
2019-05-17 22:13:58
1277
原创 Servlet使用cookie+session实现免密登录*图片验证码登录
1.实现思路图**2. 项目简介1.项目名称 Servlet_FIlter2.本项目为 web service 项目3.第一次登陆请求为： http://localhost/Servlet_Filter/nopassfilter4.项目目录3. 代码1. login.html(登录页面)<!DOCTYPE html><html> <head&...
2019-05-13 22:21:51
1409
原创 linux部署dubbo的详细步骤
linux部署dubbo的详细步骤下载 dubbo 的 war 包，这里以 dubbo-admin-2.5.3.war 为例说明下载地址，https://github.com/jiawangli21/ProjectText/tree/master/dubbo/管理项目上传dubbo-admin-2.5.3.war 到tomca服务器t的 webapps 目录下然后启动 t...
2019-04-28 09:28:44
2164
Solr入门使用详解.zip
2019-05-16
高级dtd.zip
2019-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人