- 博客(86)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 IBNR详解及基于R的计算逻辑
你需要一个包含赔案信息的data frame或matrix，其中每行代表一个赔案，包含至少以下字段：报案号（claim ID）、报案时间（claim date）、索赔人信息（claimant information）、损失情况（loss details）、赔款金额（claim amount）等。以上因素均可能对IBNR准备金的提取金额产生影响，因此保险公司需要对这些因素进行全面的考虑和分析，以确定适当的IBNR准备金提取金额。IBNR准备金的提取方法主要包括链梯法、案均赔款法、准备金进展法、B-F法等。
2023-11-29 09:43:49
2053
转载 元数据驱动为服务架构
EAII企业架构创新研究院（微信号：eaworld），如需加入云计算架构设计群或联系作者交流请添加微信号：elaineyuan928。在微服务架构中微服务的粒度小，数量多，微服务的设计与微服务之间的连接需要一套规范，同时需要一套可以对话的统一“语言”。传统的模型方式的核心目标是能够自动生成代码，故定义过于复杂。而微服务间的“语言”的目标与传统不同，用元数据作为“语言”驱动整个微服务架构是不错的选择。企业IT架构已经发展了多个阶段，一方面是服务化架构的发展，在SOA阶段主要解决应用间集成问题，但随
2022-02-11 18:29:15
791
原创 springCloud Finchley.RELEASE gateway 动态网关实现及gateway功能综述,优化
SpringCloud gateway已经出来很长时间，现在正好要做一个动态网关，落个笔录备忘。现在微博上很多网关在项目上的使用性比较差，本文会给出一个完整的方案及中间版本。目录网关核心功能SpringCloud gatewayGateway包含哪些功能呢Gateway的工作方式PredicateFilter如何动态加载路由首先看如何加载的加载顺序网关核...
2020-03-24 18:59:23
1425
转载 Elasticsearch技术分析
目录1|0生活中的数据2|0先说说Lucene3|0核心概念3|1集群（Cluster）发现机制节点的角色脑裂现象3|2分片（Shards）3|3副本（Replicas）3|4映射（Mapping）4|0基本使用4|1安装使用4|2集群健康状态5|0机制原理5|1写索引原理5|2存储原理分段存储延迟写策略段合并6|0性...
2020-03-23 21:11:19
472
转载 maven setting中文详解及多镜像仓库配置
多仓库镜像设置<mirrors> <mirror> <id>nexus-aliyun</id> <!--<mirrorOf>*</mirrorOf> --> <mirrorOf>*,!central<...
2020-03-17 15:13:47
1749
原创 linux下openoffice4.1.7安装及错误解决
1. 下载cd /usr/local/toolswget https://jaist.dl.sourceforge.net/project/openofficeorg.mirror/4.1.7/binaries/zh-CN/Apache_OpenOffice_4.1.7_Linux_x86-64_install-rpm_zh-CN.tar.gz2. 解压安装tar xf Apach...
2020-03-16 16:39:41
3786
原创 springCloud Euraka知识讲解、问题解决方案、优化方案
目录概述介绍Euraka基本配置Eureka-server配置参数基本参数Response cache参数peer相关参数http参数基本参数instance参数http参数其他参数问题及分析单机器多个实例配置问题个主机上启...
2020-01-27 18:27:41
1202
原创 redis cluster 5.0.3手动创建集群
目录概述1. 手动下载并安装redis cluster1.1下载1.2 启动1.3创建集群故障1.3.2 重新创建集群1.4 验证正确性2. Redis.conf配置3.环境变量配置4. 免密ssh4.1 Linux下生成密钥4.2 3台机器公钥配置4.3Linux免密设置流程5.设置公钥访问（不用设置）...
2019-09-11 15:11:57
346
原创 微服务springCloud深入项目技术架构
现在说到微服务，IT界已经耳熟能详；我现在看到一个现象，这些项目该不该用微服务，或者根本不知道怎么使用的情况下，生搬硬套也要使用，最后不仅开发时间增加、维护费用增加、设备使用增加，带来的效果微乎其微。 我接手的已经完成的微服务项目也有10多个，能接受的也就2、3个项目而已；最次的是数据不分离，数据映射层耦合，各种表联查，微服务之间相互调用，调用链乱成一团。 稍微好些的是数...
2019-07-17 10:37:47
736
原创 Python3.6 微小宝微信公众号文章抓爬
之前同步了Python3.6 搜狗微信公众号抓爬，但搜狗设置了微信公众号文章反抓爬机制，限制太死，而且没有太多时间研究他的反抓爬破解，只能换抓爬渠道了，所以写了一个微小宝抓爬微信公众号文章。还是利用原有的Python工程，详情请看https://blog.csdn.net/wudaoshihun/article/details/83552027微小宝公众号文章抓爬采用selenium技术，所以...
2019-07-06 02:38:41
1428
转载 线程池辅助工具类枚举
java.util.concurrent（J.U.C）大大提高了并发性能，AQS 被认为是 J.U.C 的核心。CountdownLatch用来控制一个线程等待多个线程。维护了一个计数器 cnt，每次调用 countDown() 方法会让计数器的值减 1，减到 0 的时候，那些因为调用 await() 方法而在等待的线程就会被唤醒。原理就是await时加共享锁，countDown时...
2019-05-15 10:35:34
264
转载 Quartz任务调度(3)存储与持久化操作配置详细解析
内存存储RAMJobStoreQuartz默认使用RAMJobStore，它的优点是速度。因为所有的 Scheduler 信息都保存在计算机内存中，访问这些数据随着电脑而变快。而无须访问数据库或IO等操作，但它的缺点是将 Job 和 Trigger 信息存储在内存中的。因而我们每次重启程序，Scheduler 的状态，包括 Job 和 Trigger 信息都丢失了。Quartz 的内存 Jo...
2019-03-06 00:08:46
667
转载 安装 MySQL 后，需要调整的 10 个性能配置项
安装 MySQL 后，需要调整的 10 个性能配置项注意：这篇博文的更新版本在这儿，MySQL 5.7 适用！原文：Ten MySQL performance tuning settings after installation在本文中，我们将探讨在安装好 MySQL 之后，可以进行调整的影响性能的前 10 个配置选项。当我们作为一名 MySQL 性能审计人员被录用时，他们（公...
2019-01-22 15:15:38
320
原创 centos 安装FastDfs
本来使用3个节点部署fastdfs,其中1个tracker,2个storage(2个group）如果使用6个节点，2个tracker,4个storage(2个group）其中group中2个节点互为主备。目录以下可以使用SCRT的同时操作一、环境准备1. 安装开发编译环境,直接安装组内所有软件2. 并不需要这么多组件，浪费资源，可以分步安装二. 安装fastdf......
2018-12-12 15:01:19
1800
转载 spark性能优化指南-高级篇
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问...
2018-12-10 16:38:43
202
转载 spark性能优化指南-基础篇
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行...
2018-12-10 16:33:42
201
原创 springboot redis 订阅报错
在对接一个投资项目时，启动项目出现如下错误，本来想直接问对接人，但他们没有出现这种情况，只能看一下。由下面异常可以看出，Redis security建议禁用CONFIG命令，以便远程用户无法重新配置实例。RedisHttpSessionConfiguration需要在初始化期间访问它。托管的Redis服务，在默认情况下禁用此命令，并且没有重新启用该命令的选项。而且spring-sess...
2018-12-09 00:51:47
1650
转载 键空间通知（keyspace notification）
键空间通知（keyspace notification）本文档翻译自： http://redis.io/topics/notifications 。键空间通知功能目前仍在开发中，这个文档所描述的内容，以及功能的具体实现，可能会在未来数周内改变，敬请知悉。功能概览键空间通知使得客户端可以通过订阅频道或模式， 来接收那些以某种方式改动了 Redis 数据集的事件。以下是一些键空间通...
2018-12-09 00:49:40
509
原创 centos7.X安装jdk及配置环境变量及wget下载tomcat
好久没有配置过jdk环境，基本都忘了，现在安装记录下1. 查案是否自带JDK rpm -qa | grep java2. 如果自带JDK，删除 #rpm -e --nodeps <java进行> 如： rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64 r...
2018-12-06 13:48:31
1063
转载 待续
@Target@Target 说明了Annotation所修饰的对象范围取值(ElementType)有： 1.CONSTRUCTOR:用于描述构造器 2.FIELD:用于描述域 3.LOCAL_VARIABLE:用于描述局部变量4.METHOD:用于描述方法5.PACKAGE:用于描述包6.PARAMETER:用于描述参数7.TYPE:用于描述类、接口(包括注解类...
2018-12-06 00:30:10
149
原创 springboot2.04与activiti 6.0集成
本文就不对activiti做解释，下面直接看项目集成以下顺序方面根据我的理解来，可以先从第二章看，再看第一张与第三章增加activiti表的API，备注用。目录一、springboot2.X集成activiti1.1. 引入jar包1.2. 创建启动类（componentScan是自己项目持久化模板，可以直接删掉）1.3. 配置application.yml1.4....
2018-11-30 16:51:08
5251
2
转载 jBPM5与Activiti之间的差异对比
jBPM是目前市场上主流开源工作引擎之一，在创建者Tom Baeyens离开JBoss后，jBPM的下一个版本jBPM5完全放弃了jBPM4的基础代码，基于Drools Flow重头来过，目前官网已经推出了jBPM6的beta版本；Tom Baeyens加入Alfresco后很快推出了新的基于jBPM4的开源工作流系统Activiti。由此可以推测JBoss内部对jBPM未来版本的架构实现产生了严...
2018-11-29 13:54:25
240
转载 正则表达式全集（记录用）
表达式全集字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 $ 匹配输入字符串的结束位置...
2018-11-20 12:39:28
114
原创 rpc http区别
要想弄清楚rpc与http,首先得了解一下OSI的七层网络结构模型OSI网络结构的七层模型各层的具体描述如下： 第七层：应用层 定义了用于在网络中进行通信和数据传输的接口 - 用户程式；提供标准服务，比如虚拟终端、文件以及任务的传输 和处理； 第六层：表示层 掩盖不同系统间的数据格式的不同性； 指定独立结构的数据传输格式； 数据的编码和解码；加密和解密；压缩和 ...
2018-11-06 23:36:45
355
原创 Python3 selenium 网页table数据抓爬
项目介绍本项目是对一些复杂的报表解析爬取列表数据，以国家网为例（大家最好换一个网站），会自动根据数据库配置text（数据库为字典方式），进行点击树形结构，然后input下拉框内时间，并选择省（时间和省由配置文件配置），但下拉列表的xpath没有数据库化，现阶段是写死在代码中项目开始由递归进行判定是否为最后一层，字典表可配置N层，看你网站的复杂度加入QQ群：943841699源码地址...
2018-10-31 23:41:18
1110
转载 微服务架构—服务降级
1 简介 什么是服务降级？当服务器压力剧增的情况下，根据实际业务情况及流量，对一些服务和页面有策略的不处理或换种简单的方式处理，从而释放服务器资源以保证核心交易正常运作或高效运作。 如果还是不理解，那么可以举个栗子：假如目前有很多人想要给我付钱，但我的服务器除了正在运行支付的服务之外，还有一些其它的服务在运行，比如搜索、定时任务和详情等等。然而这些不重要的服务就...
2018-10-31 14:11:24
1157
原创 python3.6 微信公众号抓爬
项目介绍本项目针对微信公众号文章爬取，通过微信公众号名称或微信号，爬取发布的文章，并对文章进行去重操作若有其他问题请加群943841699，共同探讨技术本项目借鉴很多其他项目，就不一一列出 源码地址https://gitee.com/xywdy/wechat_creeper若对项目有帮助，记得捐赠打赏偶使用说明1. 请安装python3.X环境，安装教程可参考 ...
2018-10-30 23:39:15
554
转载 kafka数据丢包原因及解决方案
数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问题所在，针对这段时间的总结，我个人面对kafka 数据丢失问题的解决思路如下：是否真正的存在数据丢失问题，比如有很多时候可能是其他同事操作了测试环境，所以首先确保数据没有第三方干扰。 理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者kafka之后的流程丢失？比如kafka的数...
2018-10-29 23:50:23
4320
1
原创 springboot 2.x 缓存功能，基于redis封装缓存
spring boot集成redis进行数据缓存功能 @Cacheable 表明Spring在调用方法之前，首先应该在缓存中查找方法的返回值。如果这个值能够找到，就会返回缓存的值。否则的话，这个方法就会被调用，返回值会放到缓存之中 @cacheput 表明Spring应该将方法的返回值放到缓存中。在方法的调用前并不会 检查缓存，方法始终都会被调用 ...
2018-10-24 00:16:39
1074
原创 springboot 1.5.2升级2.0.4 mongodb中QueryBuilder中DBObject被弃用，改为Document构造及解决方式
今天封装mongo工具包，发现QueryBuilder中DBObject被弃用，改为Document构造。为什么，我们稍微分析一下 Document实现Map，与基本的DBObject相比，可编写的代码更少DBObject虽然不被推荐，那些从2.x驱动程序系列可能继续使用DBObject接口来表示BSON documents。DBObject与Document类似，它将BSON值表示为Ob...
2018-10-24 00:12:19
2537
原创 Springcloud配置优化方案
Springcloud配置优化方案1.解决Eureka注册服务慢的问题（1）调整客户端心跳时间 instance: # 心跳时间，即服务续约间隔时间（缺省为30s） lease-renewal-interval-in-seconds: 5 # 发呆时间，即服务续约到期时间（缺省为90s） lease-expiration-duration-in-sec...
2018-10-16 23:25:53
864
原创 Token Bucket 令牌桶算法
令牌桶算法是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌，则允许发送流量；而如果令牌桶中不存在令牌，则不允许发送流量。因此，如果...
2018-10-16 21:02:27
4727
转载 springcloud 参数含义
配置参数 默认值 说明 服务注册中心配置 Bean类：org.springframework.cloud.netflix.eureka.server.EurekaServerConfigBean eureka.server.enable-self-prese...
2018-10-16 16:14:28
247
原创 响应式流(Reactive,Streams)
概念响应式流(Reactive Streams)是以带非阻塞背压方式处理异步数据流的标准，提供一组最小化的接口，方法和协议来描述必要的操作和实体。要解决的问题：系统之间高并发的大量数据流交互通常采用异步的发布-订阅模式。数据由发布者推送给订阅者的过程中，容易产生的一个问题是，当发布者即生产者产生的数据速度远远大于订阅者即消费者的消费速度时，消费者会承受巨大的资源压力(pressure)...
2018-10-16 11:33:39
3841
原创 python3 日志检索异常raise KeyError(key)，KeyError: 'formatters'
Trse KeyError(key)aceback (most recent call last): File "/root/pyrun/wechat_crawl/articles_update_exec.py", line 3, in <module> from articles_update import * File "/root/pyrun/wechat_cra...
2018-10-15 22:27:10
50807
11
原创 win10 nodejs,npm，vue.js安装部署
目录 1. 下载安装node.js2. 安装Git3. 使用git安装npm（node.js安装时自带npm的，这一步可以忽略）4. NPM设置安装VUE.js构建项目NPM安装依赖出错 1. 下载安装node.js 下载最新版node.js,现在最新版地址 https://nodejs.org/dist/latest-v9.x/...
2018-10-14 02:38:54
2962
转载 spring cloud consul中文手册
Spring Cloud Consul1.2.0.RELEASE该项目通过自动配置并绑定到Spring环境和其他Spring编程模型成语，为Spring Boot应用程序提供Consul集成。通过几个简单的注释，您可以快速启用和配置应用程序中的常见模式，并使用基于Consul的组件构建大型分布式系统。提供的模式包括服务发现，控制总线和配置。智能路由（Zuul）和客户端负载平衡（Ribbon...
2018-10-13 01:21:15
387
转载 springcloud中文手册API
Spring Cloud目录特性 云原生应用程序 Spring Cloud上下文：应用程序上下文服务 引导应用程序上下文 应用程序上下文层次结构 改变引导位置Properties 覆盖远程Properties的值 自定义引导配置 自定义引导属性源 环境变化 刷新范围 加密和解密 端点 Spring Cloud Comm...
2018-10-12 23:28:52
4931
1
原创 linux consul部署安装（一）
首先说linux安装，现阶段最新版本为1.3下载地址：https://www.consul.io/downloads.html1. 下载并解压consul# cd /opt/# mkdir consul# chmod 777 consul# cd consul# wget https://releases.hashicorp.com/consul/1.3.0/consu...
2018-10-12 22:38:35
11675
2
转载 consul简介
目录Consul 简介Consul 的使用场景Consul 的优势Consul 的角色consul cluster集群架构图Consul常用命令consul agent 命令的常用选项 Spring Cloud Consul 项目是针对Consul的服务治理实现。Consul是一个分布式高可用的系统，具有分布式、高可用、高扩展性。Consul 简介Con...
2018-10-12 21:54:42
2903
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人