拉普达男孩-CSDN博客

原创 Docker默认只开启IPV4，如需要IPV6，设置的一种方式

编辑 /etc/docker/daemon.json，加上以下内容。（如果没有这个文件直接创建。）{"ipv6":true,"fixed-cidr-v6": "fd00::/80", "experimental": true, "ip6tables": true,"registry-mirrors":["http://hub-mirror.c.163.com","https://ustc-edu-cn.mirror.aliyuncs.com/","https://registry.al.

2021-12-07 16:43:34 2808 1

原创记录spark-streaming-kafka-0-10_2.11的2.3.2版本StructuredStreaming水印除重操作OOM解决

代码主要部分： val df = kafkaReadStream(spark, KAFKA_INIT_OFFSETS, KAFKA_TOPIC) .option("maxOffsetsPerTrigger",1000)//限流:对每个触发器间隔处理的最大偏移量的速率限制。指定的偏移量总数将按比例划分到不同卷的topicPartitions上。 .option("fetchOffset.numRetries",3)//尝试次数 .option("failOnDa

2021-09-10 17:42:18 1453

原创 StructuredStreamingKafka配置问题以及group.id问题以及修改offsets问题

读取Kafka数据的时候，KafkaSourceProvider 类中的createMicroBatchReader 函数体中有对option() 中设置的Kafka参数进行校验及设置默认参数:必填参数：duisubscribe，startingOffsets，failOnDataLoss进行判断。如果要对默认参数进行修改或者添加新的配置，通过 option("Kafka.xx","") 进行设置。由于在KafkaSourceProvider 类对Kafka设置的参数做了过滤处理因此，设置Ka

2021-03-10 17:15:13 1902

原创 Docker打包springboot工程镜像

Docker创建、运行微服务镜像本地Maven添加Docker插件往本地Docker上创建、运行镜像本地环境要求：MavenJavaDocker1）pom添加docker plugin<properties><docker.image.prefix>springboot</docker.image.prefix><docker.maven.plugin.versio...

2020-11-17 19:47:30 532

原创 spring boot admin服务监控

Consul：服务注册发现、配置中心zuul：网关，路由spring boot admin：服务监控

2020-11-12 10:26:04 419 2

原创 Consul + zuul：api网关，提供路由转发功能之服务路由的路径模式即指定服务的某几个接口在某服务下执行

实现功能：相同的服务我们发布多个服务，服务名字（spring.application.name）相同，服务id（对应于Consul注册服务的spring.cloud.consul.discovery.instance-id）不同，不同的服务id对应的服务器或者ip不同。我们通过zuul访问的时候，会通过访问的路径自动路由到某台服务器上的服务去执行。如下图的业务模式service service-id(instance-id) ip:port uri 通过路由的访.

2020-10-22 14:48:02 547 1

原创 Consul + zuul：api网关，提供路由转发功能之服务路由的轮询模式

实现功能：相同的服务我们发布多个服务，服务名字（spring.application.name）相同，服务id（对应于Consul注册服务的spring.cloud.consul.discovery.instance-id）不同，不同的服务id对应的服务器或者ip不同。我们通过zuul访问的时候，会轮询的方式路由到不同的服务id服务上了，即会在10.9.100.100:8801，10.9.100.100:8805，10.9.100.100:8806三个服务上轮询执行。service servi

2020-10-22 11:50:00 878

原创 Spring Cloud API网关之Zuul原理

API网关 API网关是对外服务的一个入口，其隐藏了内部架构的实现，是微服务架构中必不可少的一个组件。API网关可以为我们管理大量的API接口，还可以对接客户、适配协议、进行安全认证、转发路由、限制流量、监控日志、防止爬虫、进行灰度发布等。 zuul简介 Zuul是Netflix OSS中的一员，是一个基于JVM路由和服务端的负载均衡器。提供路由、监控、弹性、安全等方面的服务框架。Zuul能够与Eureka、Ribbon、Hystrix等组件配合使用。Zuul...

2020-10-21 19:38:24 270 1

原创 Consul + zuul：api网关，提供路由转发功能之服务路由的默认配置

实现功能：每次往Consul注册新的服务，我们无需更改zuul的网关配置，就可以通过zuul服务的ip实现路由转发功能。请求方式：${ZuulServerIP}:${server.port}:/${新注册的Server}/[新服务的请求uri]案例：Consul上的三个服务：Zuul-gateway服务：注：应为是本地启动的zuul-gateway服务，名字为test-config-service02，端口号为8804。另，Consul服务上有个红×的原因是因为我是..

2020-10-20 18:50:48 1919 1

原创 Consul+Zuul报错zuul.exception.ZuulException: 和 zuul.exceptionZuulException: Forwarding error

两个错误，错误一：com.netflix.zuul.exception.ZuulException: Forwarding errorCaused by: java.lang.RuntimeException: java.net.SocketTimeoutException: Read timed outat rx.exceptions.Exceptions.propagate(Exceptions.java:58) ~[rxjava-1.1.10.jar:1.1.10]at rx.obs

2020-10-19 17:30:26 630

原创 SpringBoot+Consul注解方式实现配置中心

Consul介绍：Consul是什么 Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性: 服务发现 Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应用程序可用很容易的找到他所依赖的服务. 健康检查 Consul客户端可用提供任意数量的健康检查,指定一个服务(比如:webserver是否返回了200 OK 状态码)或者使用本地

2020-10-16 18:51:32 2366

转载 Consul相关知识博客链接

Consul分布式搭建 Consul 快速入门 consul集群搭建及spring cloud集成

2020-10-12 15:40:21 246 1

原创开发过程中，遇到字符串拼接，最好选用StringBuffer

示例：/**解析前端Json请求*/ ArrayList<String> domians = (ArrayList<String>)paras.get("query"); StringBuffer queryValueStrBuff = new StringBuffer(); for (int i=0;i<domians.size();i++){ queryValue

2020-09-27 18:38:59 286

原创 SpringBoot Service全局变量创建连接，关闭异常问题原因与解决

业务场景步骤：前端获取JSON参数封装成ES查询语句，ＨttpClient的RestClient低阶API查询ES方式查询查询ES表数据 ES表数据逐条匹配redis数据，处理数据封装成AOP统一约定的JSON返回体出错时间：前端查询大约100条以内前端查询大约第二天错误示例：16:03:22.206 [http-nio-8888-exec-3] ERROR xx.aop.advice.LogAdvice - This is after throw from LogAdv

2020-09-27 18:08:26 545

转载单例模式：懒汉模式

所谓“懒汉式”与“饿汉式”的区别，是在与建立单例对象的时间的不同。“懒汉式”是在你真正用到的时候才去建这个单例对象 “饿汉式是在类创建的同时就已经创建好一个静态的对象，不管你用的用不上，一开始就建立这个单例对象代码实现：懒汉模式：public class Singleton2 { private volatile static Singleton2 singleton; // 5 private Singleton2() { Sys.

2020-09-14 15:33:51 3890 2

原创 Hadoop单机模式以及伪分布模式

jdk安装wget --no-check-certificate --no-cookies --header "Cookie:oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-bll/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm存在java8：openjdkroot@Kylin:~# java -v

2020-07-13 13:43:26 1416

原创 Spark本地环境

1.安装windows版本Hadoop配置环境变量2.安装ScalaPath:;%MAVEN_HOME%;%MAVEN_HOME%\bin;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;%JAVA_HOME%\lib;%JAVA_HOME%\jre\lib\;%TOMCAT_HOME%\bin;%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;%SPARK_HOME%\bin;%MYSQL_HOME%\bin;

2020-06-19 11:37:17 214

原创每日任务Scala语言Spark读Hive表写MongoDB内嵌文档格式

Hive表：name的时间流水数据。name数据可能是一条，可能多条数据。name time d1 d2 d3 d4 d5 d6 d7 d8 d9 d10 d11 d12 d13 d14 d15 1 1563764501 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 156376

2020-06-16 12:10:10 471 1

原创 SqoopHDFS到MySQL报错：缺少lzo压缩包

错误日志：20/06/05 16:27:07 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.

2020-06-09 08:53:40 612

原创 CDH或者大数据平台提交Spark任务shell方式

##增加Kerberos认证，使用xxx.keytabl秘钥spark-submit --principal yong_hu_ming@xxx.COM \ --keytab yong_hu_ming.keytab \ --class com.xx.compute.Job20200525 \ --master yarn \ --deploy-mode cluster \ --num-executors 90 \ --driver-memory 7g \.

2020-06-04 14:30:51 797

原创 Hive SQL(持续更新)

1.建Orc压缩格式的数据库CREATE TABLE IF NOT EXISTS ods.test( id STRING COMMENT 'id',time INT COMMENT 'can data time of server time', datas STRING COMMENT 'data')comment ' with partition type first then years then months then days'PARTITIONED BY (type STRING,

2020-06-02 08:50:50 291

原创 CDH Oozie 时钟参数设置传入

${coord:formatTime(coord:dateOffset(coord:nominalTime(),0,'DAY'),'yyyyMMdd')}例如：每日00:10:00运行运行时查看xml:<coordinator-app name="My_Schedule_Part" frequency="10 0 * * *" start="${start_date}" end="${end_date}" timezone="Antarctica/Casey" x...

2020-06-01 16:20:39 1047 3

原创 Kafka配置属性

Kafka配置信息详解Broker配置信息属性默认值描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition最少的目录。 ..

2020-05-29 10:47:41 1373

原创 HiveSQL调配设置参数（持续更新）

set hive.exec.dynamic.partition.mode=nonstrict;#首个分区也未知，导入数据设置为动态分区set mapred.max.split.size=2048000000#Map操作之前合并小文件：每个Map最大输入大小设置为2GB（单位：字节）set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat#执行Map前进行小文件合并set hive.merge.mapfiles .

2020-05-29 09:29:13 823

Hadoop高可用HA集群3.x以上版本安装.docx

hadoop-3.0.0&&spark-2.4.0&&scala-2.13.3&&maven-3.6.3

confuse-2.7.tar

空空如也