自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1459)
  • 资源 (3)
  • 收藏
  • 关注

转载 Drools详解

Drools规则引擎介绍

2023-01-31 14:45:43 6

转载 spring为什么使用三级缓存而不是两级?

spring三级缓存解决循环依赖问题

2023-01-29 19:08:25 5

转载 一篇文章完全搞清楚 scoket read/write 返回码、阻塞与非阻塞、异常处理

完全搞清楚 scoket read/write 返回码、阻塞与非阻塞、异常处理等让你头疼已久的问题

2023-01-29 18:09:53 8

转载 ElasticSearch 如何像 MySQL 一样做多表联合查询?

今天我们来看 Es 中的嵌套查询与父子文档,这两个东西很有来头!关系型数据库中的多表联合查询需求在 Es 中可以用它们来解决。

2023-01-03 18:21:06 137

转载 基于 Hudi 的湖仓一体技术在 Shopee 的实践

湖仓一体(LakeHouse)作为大数据领域的重要发展方向,提供了流批一体和湖仓结合的新场景。目前,企业许多业务中会遇到的数据及时性、准确性,以及存储的成本等问题,都可以通过湖仓一体方案得到解决。当下,几个主流的湖仓一体开源方案都在不断迭代开发中,业界的应用也都是在摸索中前行,在实际的使用中难免会遇到一些不够完善的地方和未支持的特性。Shopee 内部在使用过程中基于开源的 Apache Hudi 定制了自己的版本,以实现企业级的应用和一些内部业务需求的新特性。通过引入 Hudi 的 Data la

2022-11-14 18:05:55 115

转载 SCRM是什么?CRM和SCRM有什么区别?

常见的CRM(Customer Relationship Management)系统大家都不陌生,我们也常常称呼为客户关系管理。那么,SCRM和CRM有什么关联呢?异同点在哪里?本文对这两个问题展开了分析讨论,一起来看看~

2022-10-28 14:18:16 127

转载 星型模型与雪花模型的区别、分别有哪些优缺点

雪花模型和星型模型

2022-10-14 18:06:44 116

转载 数据仓库系列:星型模型和雪花型模型

在实际工作中多维分析的商业智能解决方案,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。

2022-10-14 17:50:34 41

转载 企业数据仓库技术架构

数据仓库自上世纪九十年代提出以来,技术架构一直在不断更新,尤其是进入二十一世纪以来,随着大数据相关技术的发展,数据仓库架构经历了多次升级。本文首先讲解了数据仓库的一些基本知识,包括什么是数据仓库、数据仓库和数据库的区别、数据仓库中的一些基本概念,以及数据仓库包含的层级,接着对各代数据仓库的架构一一进行讲解,从传统数仓,到大数据数仓,再到实时数仓,直到最新的湖仓一体。

2022-10-14 17:41:58 172

转载 什么是数据仓库?大数据实时数仓建设架构图,及应用案例介绍

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

2022-10-12 11:59:04 312

转载 神策数据:营销策略引擎解读,以平台化构建营销新生态

营销中台下的策略引擎营销策略引擎平台化新一代流程画布

2022-10-12 10:17:31 188

转载 四种常用的微服务架构拆分方式

微服务架构并无标准架构,不然什么架构师大会也不会各个系统架构百花齐放了。虽然没有固定的套路,却有一些经验,今天就来做一个总结。基于角色拆分这种拆分方式常见于基础设施以及其PaaS层的架构,比如服务治理、k8s、kafka。所谓基础组件的PaaS层是说,基础设施本身主要作为基础设施使用,是IaaS层。但是基础设施本身需要维护功能,需要增删改查等运维操作。业界基于开源做的二次开发也着重在做这方面的工作。下面以kafka做说明。因为要上升到PaaS层,下图基于美团对kafka的二次开发封装,产品名叫m

2022-03-29 19:41:21 1807

转载 模块级私有访问权限 internal 包的使用规则,use of internal package xxx not allowed

在 Go 1.5 及后续版本中,可以通过创建 internal 代码包让一些程序实体仅仅能被当前模块中的其他代码引用。这是第三种访问权限:模块级私有。1. GOPATH 时代具体规则是:internal 代码包中声明的公开程序实体仅能被该代码包的直接父包及其子包中的代码引用。当然,引用前需要先导入这个 internal 包。对于其他代码包,导入该 internal 包都是非法的,无法通过编译。这里的名称必须是 internal 。代码目录结构如下:wohu@wohu:~/GoCode/

2022-03-29 19:31:09 680

转载 golang常用库:字段参数验证库-validator使用

一、背景#在平常开发中,特别是在web应用开发中,为了验证输入字段的合法性,都会做一些验证操作。比如对用户提交的表单字段进行验证,或者对请求的API接口字段进行验证,验证字段的合法性,保证输入字段值的安全,防止用户的恶意请求。一般的做法是用正则表达式,一个字段一个字段的进行验证。一个一个字段验证的话,写起来比较繁琐。那有没更好的方法,进行字段的合法性验证?有, 这就是下面要介绍的validator这个验证组件。代码地址:https://github.com/go-playground/val..

2022-03-27 18:59:24 2678

转载 Golang参数校验:go-playground/validator的缺点及替代品checker

Golang的参数校验,大多数使用的是validator(gin框架使用的是validator v8/v9)。但是,validator的缺点是,将校验的逻辑,以标签(tag)的方式写入结构体,这种方法具有很强的侵入性,并且校验逻辑不容易阅读。为此,笔者写了checker,作为validator的替代品。checker可以替代validator, 用于结构体或非结构体的参数校验。使用例子: tag 与 Rule的比较validator使用的tag,与checker的Rule的对应关系可以参考RE

2022-03-27 18:56:14 943

转载 Android/Java中使用Protobuf的Any类型实现泛型解析

上一篇博客中只讲解到了简单的使用protobuf,还不会的可以先去看一下【Android项目使用Protobuf教程(结合Retrofit+RxJava及HttpURLConnection使用)】,有位小伙伴问我如何使用泛型呢?比如每次网络请求都会有一些公共字段和可变参数,如下:请尊重原创,转载需要注明出处,大力哥的博客:https://blog.csdn.net/qq137722697{code:0msg:"登录成功"data:{ ResultResponse }...

2022-03-25 18:57:38 1109

转载 规则引擎:大厂营销系统资格设计全解

业务进行营销活动目的是用最少的钱实现更好的营销效果,此时就需要针对营销活动的资格进行控制,其中就包括了用户身份、用户所处的环境等等一系列因素的考虑,且为了防止恶意套取营销费用和做到营销效果的持续性,会进行活动相关次数的控制。此时为了适应业务不断变革的营销活动资格,好的资格设计就非常重要。营销活动业务在配置中会同一时间存在多个营销活动,用户进入某个场景,首先需要给用户展示目前用户能够享受的营销活动,增加用户参与此场景的意向,然后用户参与场景后需要给用户提示对应的营销活动,用户如果没有参与成功需要给.

2022-03-14 16:12:36 292

转载 Golang 规则引擎原理及实战

本文主要介绍规则引擎在 golang 中的使用,将首先介绍 golang 中主要的规则引擎框架,然后利用 golang 原生的 parser 搭建一个简单的规则引擎实现基本的 bool 表达式解析工作。背景随着业务代码的不断迭代,诞生出了越来越多的 if-else,并且 if-else 中的逻辑越来越复杂,导致代码逻辑复杂、维护性差、可读性差、修改风险高等缺陷。复杂的 if-else 逻辑其实对应的是一条条的规则,满足对应的规则在执行对应的操作,即 if-else 中的条件就是一个对应的 boo

2022-03-14 16:02:33 3500 1

转载 基于 Go 的内置 Parser 打造轻量级规则引擎

在公司内见到无数的人在前仆后继地造规则引擎,起因比较简单,drools 之类的东西是 Java 生态的东西,与 Go 血缘不合,商业规则引擎又大多超重量级,从零开始建设的系统使用起来有很高的学习成本。刚好可能也不是很想写 CRUD,几个人一拍即合,所以就又有了造轮子的师出之名。要造一个规则引擎,说难实际上也不难。程序员们这时候捡起了学生时代的编译原理书,抄起递归下降、 lex/yacc 或者再先进一点的 antlr 之类的 parser generator 就搞了起来。造的时候说不定还发现噢噢,大多数

2022-03-14 14:39:57 561

转载 govaluate

简介今天我们介绍一个比较好玩的库govaluate。govaluate与 JavaScript 中的eval功能类似,用于计算任意表达式的值。此类功能函数在 JavaScript/Python 等动态语言中比较常见。govaluate让 Go 这个编译型语言也有了这个能力!快速使用先安装:$ go get github.com/Knetic/govaluate后使用:package mainimport ( "fmt" "log" "github.com/Kn

2022-03-14 12:18:14 620 1

转载 Gengine规则引擎

最近对B站开源的gengine规则引擎进行了入门级的研究。现在整理的资料记录如下。(欢迎交流讨论)原博客地址:https://www.cnblogs.com/feixiang-energy/p/15572292.html一:简介:  Gengine是一款基于golang和AST(抽象语法树)开发的规则引擎, Gengine支持的语法是一种自定义的DSL, Gengine通过内置的解释器对规则文件进行解析,构建规则模型,进行相应的规则计算和数据处理。Gengine于2020年7月由哔哩哔哩(bi.

2022-03-14 12:07:57 814

转载 Apache ab测试工具使用方法(无参、get传参、post传参)

Ab测试工具是apache自带的测试工具,具有简单易上手的特性,下面我总结一下我的使用方法,首先去官方下载apache程序包,我下的最新版本apache2.4.23,下载地址Download - The Apache HTTP Server Project我下载的windows版本,解压后放到某一目录即可。1、呼出控制台可以使用系统自带cmd或者Xshell工具均可2、进入apache下的bin目录ab.exe就在此处3、使用方法直接在此目录下输入ab回车就会罗列出使用帮

2022-02-23 16:18:45 1315 1

转载 Go tcp客户端、服务端编程

内容参考net包,net包提供了可移植的网络I/O接口,包括TCP/IP、UDP、域名解析和Unix域socket。虽然本包提供了对网络原语的访问,大部分使用者只需要Dial、Listen和Accept函数提供的基本接口;以及相关的Conn和Listener接口。crypto/tls包提供了相同的接口和类似的Dial和Listen函数。服务端在服务器端我们需要绑定服务到指定的非激活端口, 并监听此端口;当有客户端请求到达的时候可以接收到来自客户端连接的请求。package main

2022-02-23 15:58:43 385

原创 golang bloom filter实现

package mainimport ( "fmt" "math")type BloomFilter struct { MLength int64 //过滤器长度 MArr []int64 //过滤器数组 NCount int64 //插入元素个数 FalseRate float64 //误报率 KHash int //hash函数个数}//数学公式// k = ln2 * m /n// ...

2022-02-23 15:51:15 271

转载 go使用protobuf和cpp进行tcp通信

msg.protosyntax = "proto3";package MSG;option go_package = ".;MSG";message Person { string name = 1; int32 id = 2; string email = 3;}//protoc --go_out=./ ./msg.proto//protoc --cpp_out=./ ./msg.protofunc Marshal(m Message) ([]byte, er...

2022-02-23 15:48:10 172

转载 Go语言操作MySQL

MySQL是业界常用的关系型数据库,本文介绍了Go语言如何操作MySQL数据库。Go操作MySQL连接Go语言中的database/sql包提供了保证SQL或类SQL数据库的泛用接口,并不提供具体的数据库驱动。使用database/sql包时必须注入(至少)一个数据库驱动。我们常用的数据库基本上都有完整的第三方实现。例如:MySQL驱动下载依赖go get -u github.com/go-sql-driver/mysql使用MySQL驱动func Open(drive

2022-02-23 15:12:38 1625 1

转载 Go语言操作Redis

在项目开发中redis的使用也比较频繁,本文介绍了Go语言中go-redis库的基本使用。Redis介绍Redis是一个开源的内存数据库,Redis提供了多种不同类型的数据结构,很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外,通过复制、持久化和客户端分片等特性,我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。Redis支持的数据结构Redis支持诸如字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、

2022-02-23 15:11:26 1345

转载 go protobuf tcp 粘包处理 demo

1.安装相关包设置代理set GOPROXY=https://goproxy.cn安装golang的proto工具包go get -u github.com/golang/protobuf/proto安装goalng的proto编译支持go get -u github.com/golang/protobuf/protoc-gen-go查看 protoc 版本protoc --version2.创建项目模拟微服务开发,在某个空文件夹下建立两个文件夹分别为client...

2022-02-23 15:09:37 372

转载 Golang 使用Protocol Buffer 案例

目录1. 前言 2. Protobuf 简介 2.1 Protobuf 优点 2.2 Protobuf 缺点 2.3 Protobuf Golang 安装使用 3. Protobuf 通讯案例 3.1 创建.proto协议文件 3.2 protobuf编解码 3.3 socket通讯 4. Protobuf 基础知识 4.1 简单模板 4.2 简单语法 4.3 注意事项 1. 前言工作几年了。ITDragon龙的编程语言从熟悉的Java,到喜欢的.

2022-02-23 14:47:52 312

转载 PHM:普通神经网络与无监督方法文献

2020Zhou F, Yang S, Fujita H, et al. Deep learning fault diagnosis method based on global optimization GAN for unbalanced data[J]. Knowledge-Based Systems, 2020, 187: 104837.2019Yu J. A selective deep stacked denoising autoencoders ensemble with negat..

2022-02-10 18:35:15 146

转载 Spring Boot(2.1.2.RELEASE) + Spring Cloud (Finchley.RELEASE)搭建服务注册和发现组件Eureka

前言:由于版本原因,部分关于Spring Cloud的书中使用的是Spring Boot 1.x 版本,很多配置或名称在新版本中已经发生了改变。此篇文章记录的是使用较新的Spring Boot 2.x和Spring Cloud Finchley.RELEASE搭建服务注册和发现组件Eureka的步骤(部分代码以截图形式展现)。一、搭建Eureka1. 编写 Eureka Server使用IDEA创建一个新的项目。搭建Eureka服务注册和发现组件1.png选择maven->Ne

2022-01-07 17:37:43 227

转载 SpringBoot2.1+SpringCloud:注册中心搭建(Eureka)

一、版本说明:SpringBoot:2.1.6.RELEASESpringCloud:Greenwich.RELEASE二、作用及功能说明:注册中心:是将多个微服务统计进行管理,主要起注册及发现的作用,是微服务架构的一个总要环节,是多个微服务之间通讯的保障及支撑;Eureka:可以做为服务端,同时也可以作为客户端,支持高可用;三、Maven主要配置说明 1 <modelVersion>4.0.0</modelVersion> 2 <paren

2022-01-02 16:29:44 255

转载 无法连接 服务器/虚拟机中的数据库,报错Access denied for user ‘root‘@‘192.168.1.101‘

情境在用 yml 配置 SpringBoot 连接虚拟机数据库时,不但连接不上、项目无法启动,报错还是本地连接失败。报错Access denied for user 'root'@'192.168.1.101' (using password: NO)解决由于项目刚刚搭起来,我想还是配置问题。因为配的数据库地址不是本机的数据库,配置IP与报错不符,所以还是去 yml 配置中去找。最后通过查资料发现只要给 password 的内容加上 "" 即可。错误配置:password: qwert

2021-12-19 13:12:42 645

原创 数据库连接数过多 too many

出现这个情况说明最大连接数少了1.首先咱们可以关闭MySQL服务 #linux下使用这个命令 service mysql stop  #win下是这个 net stop mysql 2.启动MySQL #linux下使用这个命令 service mysql start #win下是这个 net start mysql 3.登录mysql mysql -u root -...

2021-12-19 13:05:45 654

转载 @FeignClient 接口调用

在项目的启动文件加入:@EnableFeignClients 注解, 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigur

2021-12-09 17:44:20 653

转载 通俗理解生成对抗网络GAN

0. 引言自2014年Ian Goodfellow提出了GAN(Generative Adversarial Network)以来,对GAN的研究可谓如火如荼。各种GAN的变体不断涌现,下图是GAN相关论文的发表情况:图1 GAN相关论文发表情况大牛Yann LeCun甚至评价GAN为 “adversarial training is the coolest thing since sliced bread”。那么到底什么是GAN呢?它又好在哪里?下面我们开始进行介绍。1. GAN的

2021-12-02 14:56:57 195

转载 携程基于Quasar协程的NIO实践

IO密集型系统在高并发场景下,会有大量线程处于阻塞状态,性能低下,JAVA上成熟的非阻塞IO(NIO)技术可解决该问题。目前Java项目对接NIO的方式主要依靠回调,代码复杂度高,降低了代码可读性与可维护性。近年来Golang、Kotlin等语言的协程(Coroutine)能达到高性能与可读性的兼顾。本文利用开源的Quasar框架提供的协程对系统进行NIO改造,解决以下两个问题:1)提升单机任务的吞吐量,保证业务请求突增时系统的可伸缩性。2)使用更轻量的协程同步等待IO,替代处理NIO常

2021-12-02 10:13:58 110

转载 一个注解搞懂 Sentinel,@SentinelResource总结

@SentinelResource可以说是Sentinel学习的突破口,搞懂了这个注解的应用,基本上就搞清楚了 Sentinel 的大部分应用场景。一、@SentinelResource 解析Sentinel 提供了 @SentinelResource 注解用于定义资源,并提供了 AspectJ 的扩展用于自动定义资源、处理 BlockException 等。1、SentinelResource源码查看 Sentinel的源码,可以看到 SentinelResource 定义了value,e

2021-11-24 17:58:42 309

转载 MapStruct使用详解

阅读目录:序 一、准备工作 1.1、了解@Mapper 注解 1.2、依赖包 二、先简单玩一把 2.1、定义实体类以及被映射类 2.2、定义接口: 2.3、使用 2.4、查看编译结果 2.5、浏览器查看结果 三、不简单的情况 3.1、类型不一致 3.2、字段名不一致 3.3、属性是枚举类型 源代码阅读正文:我们都知道,随着一个工程的越来越成熟,模块划分会越来越细,其中实体类一般存于 domain 之中,但 domain 工程最好不要被其他工

2021-11-18 16:16:44 1239

转载 Java实体映射工具MapStruct

声明:1、DO(业务实体对象),DTO(数据传输对象)。2、我的代码中用到了 Lombok ,不了解的可以自行了解一下,了解的忽略这条就好。123在一个成熟的工程中,尤其是现在的分布式系统中,应用与应用之间,还有单独的应用细分模块之后,DO 一般不会让外部依赖,这时候需要在提供对外接口的模块里放 DTO 用于对象传输,也即是 DO 对象对内,DTO对象对外,DTO 可以根据业务需要变更,并不需要映射 DO 的全部属性。这种 对象与对象之间的互相转换,就需要有一个专门用来解决转换问题的工具..

2021-11-18 16:06:25 119

hadoop-windows

Hadoop 2.7. 6在Windows7下单机部署时的补丁文件包,解决Hadoop在Windows下的安装问题

2018-08-14

Z-Stack API

ZStack 2006版本Api,中文版,

2011-03-30

《Z-Stack API 接口》中文版

ZigBee协议栈编程接口(API),中文版。

2010-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除