- 博客(164)
- 资源 (23)
- 问答 (2)
- 收藏
- 关注
原创 Python Faker 批量生成个人信息
简述Faker 是一款可以批量生成数据的工具包。本文主要分享Faker 在Python中的应用,此款工具另有Php,perl,Ruby 多种语言,可以根据自身需要选择。此款工具包,默认提供数据的类型,主要是面向用户信息。用户名,出生时间,地址,邮政编码,公司信息,工作,geo,信用卡,手机号等。还提供python 类型数据(set,dict,list,decimal,str)模拟。如果您需要批量生成用户信息,则可以使用本工具包。安装pip install Faker使用模拟用..
2020-09-17 12:19:09 2891
原创 elasticsearch创建索引 ,mapping,dynamic_templates
简述elasticsearch 创建索引时通常需要配置mapping。mapping的含义类似于关系数据库中的表结构。但mapping更加灵活。创建以下实例是创建索引:my-index-000001,并加入dynamic_templates。地址http://localhost:9400/my-index-000001方式put端口http 端口模板内容{ "mappings": { "_default_": { "dynamic_templates": [
2020-08-11 17:48:26 1125
原创 Java 8获取当前时间属于年中的第多少周
简述Java8 中的日期类已重构,替换掉calendar。其新的优势不在赘述。新的LocalDate对于周的时间处理,并没有直接提供太多的方式。解决通过WeeksFields 可以解决相关的周获取。以下是获取当前时间,在属于今年的第n周。WeekFields weekFields = WeekFields.of(Locale.getDefault()); int weekNumber = LocalDate.now().get(weekFields.weekOfWeekBase
2020-08-07 14:00:11 2118
原创 IllegalStateException: Since explicit contact points, the local DC must set spring-data-cassandra
简述Spring data cassandra 3.0.1.RELEASE 建立 连接时出现如下异常Spring Boot版本:2.3.1.RELEASEorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'session' defined in class path resource [com/crm/tool/config/Config.class]: Invocation o
2020-07-18 10:22:43 1717
原创 比xxl-job 优秀的分布式定时任务调度框架
简述简单的定时任务通过QuartZ可以实现,但随着业务的增多,需要监控定时任务。QuartZ就无法满足场景了。很多朋友都了解过xxl-job,这是一款非常优秀的分布式定时任务调度框架。今天给大家带来的是另一款开源的分布式调度与计算框架。是的不仅仅是任务调度还包含计算。项目地址https://github.com/KFCFans/PowerJob主要特性使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。.
2020-07-12 15:31:49 4136
原创 python3使用自带urllib发送http请求实例
简述本文主要使用python3 自带的 urllib实现发送GET请求。并将结果状态,值输出。urllib 是一个收集了多个涉及 URL 的模块的包:urllib.request 打开和读取 URLurllib.error 包含 urllib.request 抛出的异常urllib.parse 用于解析 URLurllib.robotparser 用于解析 robots.txt 文件示例代码import urllib.requestresponse = urllib.
2020-06-28 17:36:59 862
原创 SpaceX的代码开源了,来看看火箭技术的代码.Spacex Rest API设计很有参考价值
SpaceX世界上可以拥有载人航天技术是美俄中马。其中只有马斯克的SpaceX属于民营商用企业。地址https://github.com/r-spacex/SpaceX-APIAPI效果GET https://api.spacexdata.com/v3/launches/latest返回值{ "flight_number": 95, "mission_name": "Starlink 7", "mission_id": [ ], "launch_year
2020-06-08 12:57:02 4678
原创 Java 中二维数组 多种赋值方式 及遍历
数组是每个编程语言的最常用的数据结构之一,二维数组应用场景比较广泛,其赋值方式比普通的数组要复杂一些。
2020-06-03 15:58:33 11057 2
原创 elasticsearch date_histogram min_doc_count extended_bounds 使用
在 elasticsearch 中做时间的统计分析,最经常遇到的就是date_histogram
2020-06-02 15:52:52 4761 2
原创 Apache Druid 0.18.1使用准确值去重方式
Apache druid 中的 COUNT(DISTINCT expr) 默认是使用 近似值算法HyperLogLog. 原来介绍过druid本身是为了海量数据分析而设计,所以在大数据量的情况下,使用近似值算法,速度更快。但有的需求,数据量本身较小,对数据的精准性要求比较高。不希望使用近似值的方式。
2020-05-31 16:17:00 1012
原创 Java 8中 Date 获取时间所在 周一,月第一天,季度第一天,年第一天的方式
Java 8 中 日期,时间API 完全重构。抛弃了原来非常复杂的 calendar. 还加入了线程安全的等更加友好的API。本文主要是记录分享 常用的 时间所在周,月,季度,年的 第一天获取方式。
2020-05-29 17:34:50 2687 1
原创 Java 14 Instanceof的模式匹配
它通过对运算符instanceOf进行模式匹配来改进Java的编程语言。模式匹配允许在系统中更清晰有效地表达逻辑,可以在对象中有条件地删除。
2020-05-28 12:30:30 300
原创 Apache druid 中提交 hadoop任务 合并segement
简述在上篇文章中[Apache Druid 0.18.1 compact (合并,压缩) segements] 说明了使用 compact 任务进行合并,压缩segement。基本上的合并任务compact都可以满足。但如果遇到比较复杂的需要时,例如需要根据维度,metrics 进行重建时,compact就无法满足需要了。hadoop 重建任务{ "type":"index_hadoop", "spec":{ "dataSchema":{ "
2020-05-27 20:34:14 443
原创 Spring Boot 数据验证简介
简述在软件开发过程中,经常遇到验证属性的合法性.在未使用标签验证的情况下,会使用大量的if语句校验数据的合法性.如if (StringUtils.isEmpty(user.getUserName())) { throw new RuntimeException("参数异常");}if (StringUtils.isEmpty(user.getEmail())) { throw new RuntimeException("参数异常");}if (!StringUtil.isVali
2020-05-27 18:59:03 354
原创 如何使用Lock ?Lock 与synchronized 区别是什么?
Lock就像同步块一样,java.util.concurrent.locks.Lock是线程同步机制。但是,锁比同步块更灵活,更复杂。由于Lock是接口,因此需要使用其实现之一在应用程序中使用Lock。 ReentrantLock是Lock接口的一种此类实现。代码实例Lock lock = new ReentrantLock(); lock.lock(); lock.unlock();Lock与synchronized不同之处1.Lock可以设置超时.而s...
2020-05-26 12:50:26 341
原创 Apache Druid 0.13 升级至 0.18.1 过程分享,最新版本升级实战
简述0.18.1 作为一次重大升级,包含了sql的join查询,解决了很多问题。本周一不小心就把apahce druid在 0.13升级至 0.18.1 .升级过程中有些小陷阱做了一个chat分享下升级过程。本 Chat 主要是 0.13 升级至 0.18.1 过程分享。通过本 Chat 可以了解到:0.13 不停机的情况下升级至 0.18.1 的方案 日志配置 同一台机器上启动两个 Supervise 方法 启动后节点自动退出问题.总结如果你有相关的升级需求,本案例可...
2020-05-20 17:45:02 1310 3
原创 Apache Druid 0.18.1 compact (合并,压缩) segements
问题Apache druid中的实时任务默认一个小时生成一个segement (如果是老版本,一个小时生成的数量与Kafka的partition数量有关),会导致集群产生大量的segements.根据druid的建议每个segement大小 300M-700M.有时需要进行compact向 overlord节点提交任务地址http://overlord:port/druid/indexer/v1/task任务内容保持原有granularity{...
2020-05-19 17:53:36 970 4
原创 关于统计中的百分比之和不等于100的问题(Java)
在计算统计表格百分比的过程中,由于精度问题计算结果值总是出现99.97%或是100.1%不等于100%的情况,最初的方案一般都是通过最后一个值等于1 减去百分比来完成计算,但这种方式存在弊端。经常出现异常数据,经过在查找有以下方法。
2020-05-11 12:43:05 8844 5
原创 单元测试时,引用了同类中的方法,如何mock?
导述类设计时,一般都是根据单元测试规范设计程序,尽量避免同一个类中的函数引用。但代码实际开发过程中,总有很多特殊情况。小编今日写代码时,本身写了一个读取邮件的验证函数,在添加相关配置时,为了保证数据的准确性(公司测试部门,直接调用接口测试)又验证一次,这样就出现了同一个类之间的引用,在测试添加函数时就出现了麻烦事,该如何Mock 这个同一个类中的函数调用呢?解决方...
2020-04-29 20:45:50 9365 3
原创 阿里泰山版Java 开发手册正式发布
所以本手册以Java开发者为中心视角,划分为编程规约、异常日志、单元测试、安全规约、MySQL数据库、工程结构、设计规约七个维度,再根据内容特征,细分成若干二级子目录。另外,依据约束力强弱及故障敏感性,规约依次分为强制、推荐、参考三大类。在延伸信息中,“说明”对规约做了适当扩展和解释;“正例”提倡什么样的编码和实现方式;“反例”说明需要提防的雷区,以及真实的错误案例。 手
2020-04-28 12:55:40 474
原创 数学表达式解析器工具使用
丰富而灵活的数学表达式解析器(表达式评估器) ,以纯文本/字符串形式提供的表达式),用于JAVA和C#。主要功能:丰富的运算符内置库,常量,常量等
2020-04-27 18:04:56 657
原创 视频语音自动生成字幕文件的免费软件工具,日剧,美剧都能看懂了
现在很多做自媒体的朋友或是看美剧,国外大片时还在为自己看不懂英文发愁?现在有款自动识别视频语音的生成字幕的软件工具,关键是还免费,你想使用吗?
2020-04-26 17:51:04 6835 1
原创 Django 3.0.5 mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3
Django 3.0.5 python web 开发常用工具
2020-04-24 17:21:28 188
原创 代码质量管理工具:SonarQube常见的问题及正确解决方案
SonarQube 简介 Sonar 是一个用于代码质量管理的开放平台。通过插件机制,Sonar 可以集成不同的测试工具,代码分析工具,以及持续集成工具。 与持续集成工具(例如 Hu...
2020-03-06 12:43:00 2265
原创 常见AI工具使用
向大家推荐《常见AI工具使用》 https://xiaozhuanlan.com/ai__tools?在AI工具涌现的情况下,太多的工具,很多上班族没有精力去整理,学习,但又怕错过时代的风口。所以小编就着手整理当下最新,最火爆的ai工具以及使用方法。有需要的朋友可以订阅吆。
2024-03-12 13:50:21 448
原创 /usr/lib64/nginx/modules/ngx_stream_module.so: undefined symbol: SSL_CTX_set_options
系统是centos 7问题是加入stream出现问题。
2022-12-13 22:23:05 4069 1
原创 fegin sentinel java.lang.IllegalStateException: No fallback instance of type
在fegin 与sentinel整合时,使用了fallbackFactory做降级处理,但启动时,一直出现如下异常。上面的异常说明RemotePayServiceFallback 没有被Spring 管理。RemotePayServiceFallback 中加入 @Component即可。Spring boot 是无法自动加载第三方jar中的类,需要通过自动配置的方式,
2022-12-12 14:12:34 827
原创 chkconfig --add redis 服务 redis 不支持 chkconfig 解决方式
加入如下脚本,根据自己的安装目录进行调整。会导致开机启动加入失败,出现如下类似异常。
2022-07-18 14:14:29 2444
原创 中维世纪Java一面
Spring Boot 包扫描Spring Boot 的启动类不在最外层时如何加载相关的Bean?设置扫描包@SpringBootApplication(scanBasePackages = {"com.example"})ThreadPoolExecutor的重要参数corePoolSize:核心线程数核心线程会一直存活,及时没有任务需要执行当线程数小于核心线程数时,即使有线程空闲,线程池也会优先创建新线程处理设置allowCoreThreadTimeout=true(默认false
2022-04-18 23:12:33 161
原创 java 8 list collectors to map 保持顺序的两种方案
Java 8 list 转 map 保持顺序思路直接转换为LinkedHashMap。 User user = new User(); user.setAccountId("1"); List<User> users = Lists.newArrayList(); User user2 = new User(); user2.setAccountId("2"); User user3 = new User();
2022-02-22 13:29:39 7688 1
原创 VSCode Java 代码格式化 统一使用eclipse format 格式文件
settings.json配置```css "[java]": { "editor.defaultFormatter": "redhat.java" }, "java.format.enabled": true, "java.format.settings.url": "D:\\work\\document\\公司环境配置\\Java编码规范-附件\\eclipse\\formatter.xml", "java.format.settings.profile": "eefung
2022-02-22 13:19:58 1765
原创 VSCode java format file(eclipse )
VSCode Java 代码格式化统一使用eclipse format 格式文件。settings.json配置 "[java]": { "editor.defaultFormatter": "redhat.java" }, "java.format.enabled": true, "java.format.settings.url": "D:\\work\\document\\公司环境配置\\Java编码规范-附件\\eclipse\\formatter.xml",
2022-01-26 11:38:09 869
原创 Spring Boot @ExceptionHandler 精确匹配优先(按照深度比较)
@ControllerAdvice 中 使用@ExceptionHandler 处理全局异常@Slf4j@Component@ControllerAdvicepublic class GlobalExceptionHandler extends ResponseEntityExceptionHandler { @ResponseBody @ExceptionHandler(value = Throwable.class) public ResponseEntity<Ob
2022-01-19 11:15:58 1403
原创 Java BigDecimal中的大于,等于、小于计算原理
BigDecimalBigDecimal 是Java 中精度计算中常用的类。带有精度不能直接进行>,<,=计算。大于,等于,小于判断等于 BigDecimal b1 = BigDecimal.ZERO; BigDecimal b2 = BigDecimal.ZERO; System.out.println(b2.compareTo(b1)); //输出结果 0 if (b2.compareTo(b1) == 0) { System.out.println
2021-12-09 17:23:40 8613
drools 7.9 实例
2018-08-27
spring boot
2016-12-20
java版微信开发入门 web项目
2014-04-18
kafka 消费者 获取消息
2014-12-29
solaris系统中统计 网卡流量
2014-04-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人