mengxpFighting的博客

不断学习,不断进步,才能让自己更加从容。

Guava学习计划-Semaphore—RateLimiter-漏桶算法-令牌桶算法

java中对于生产者消费者模型,或者小米手机营销 1分钟卖多少台手机等都存在限流的思想在里面。 关于限流 目前存在两大类,从线程个数(jdk1.5 Semaphore)和RateLimiter速率(guava) Semaphore:从线程个数限流 RateLimiter:从速率限流  目前常见...

2018-01-21 01:24:06

阅读数 2055

评论数 0

liunx 修改服务器时间的两种方式

在从事大数据时候,集群时间不一致会导致不少问题。eg:心跳异常,进程通信异常等 让集群之间等时间保持一致显得十分重要。以下主要以两种方式 第一种方式:手动方式去修改时间。 1.将系统时间设定成下午5点55分55秒的命令命令 : "date -s 17:55:55" #da...

2017-12-13 21:59:09

阅读数 14425

评论数 0

搭建Nexus Repository 3.6.0-02和配置apache-maven-3.5.2和本地的local Repository以及项目的pom.xml(IDEA 打包等)

本文主要目的: 为了让Maven管理项目的所有依赖包,Release和Snapshot . 本文涉及如下三点: 1.windows 下搭建Nexus Repository 3.6.0-02(linux下思路一样) 2.配置apache-maven-3.5.2中的settings和本地的local ...

2017-11-14 17:01:17

阅读数 2095

评论数 0

hadoop2.7.2本地调试MR IDEA本地调试mapreduce

1.hadoop官网上下载hadoop2.7.2.tar.gz  并且配置成环境变量开始之前必须配置本地的hadoop环境HADOOP_HOME=H:\source\hadoop\hadoop-2.7.2PATH中增加  %HADOOP_HOME%\bin配置完成后,通过cmd 执行hadoop ...

2017-11-04 18:31:09

阅读数 533

评论数 0

VMware下的Linux扩展磁盘空间 (CentOS6.5为例-扩展系统盘)

1.首先通过vmware的方式增加系统盘 2.采用 df -h 和fdisk -l 观察实际容量和可用的容量 【试验中从25G-->40G 】 图二和图三之差差不多15G 图一 是系统的实际使用容量 图二 是通过vmware增加空间后的容量 图三 是未通过...

2018-12-20 23:24:13

阅读数 74

评论数 0

JVM 内存泄露

内存泄漏是指无用对象(不再使用的对象)持续占有内存或无用对象的内存得不到及时释放,从而造成内存空间的浪费称为内存泄漏。   长生命周期的对象持有短生命周期对象的引用就很可能发生内存泄漏,尽管短生命周期对象已经不再需要,但是因为长生命周期持有它的引用而导致不能被回收,这就是Java中内存泄漏的发生...

2018-08-29 15:53:25

阅读数 100

评论数 0

社区发现理解

最近一段时间工作上使用到了社区发现,虽然只是小小一部分。但是呢,工作量还是不小的,在网上找了很多的资料,也做了很多的研究性工作,看了非常多的paper,也做了一点小改进。那么来开始总结一下社区划分究竟怎么做,目前有哪些主流的做法以及他们的原理是什么。图,这里不是指图片的图喔。而是一个名字叫图的数据...

2018-07-02 09:58:21

阅读数 605

评论数 0

Library sources not found for scala-library in Intellij

intellij idea查看scala sdk的源代码2016年7月31日作者:robin暂无评论下载源代码点击这个链接:http://www.scala-lang.org/download/all.html;选择需要的版本点击打开;在新打开的网页下方找到源代码下载项:在intellij ide...

2018-04-10 22:42:40

阅读数 674

评论数 0

Java 9 入门--模块化

模块化  模块化是java 9最大的一个特性,它使得代码组织上更安全,因为它可以指定哪些部分可以暴露,哪些部分隐藏。本质上讲,模块的概念,其实就是package外再裹一层,也就是说,用模块来管理各个package,通过声明某个package暴露,不声明默认就是隐藏。本文将通过Java10  IDE...

2018-04-07 21:05:10

阅读数 108

评论数 0

关于java 8 9 10 新特性简单体验

java 8现在已经成为互联网java 工程师的标配了,关于里面的lambda表达式  stream API 确实极大的简化了java 的开发效率和性能。java 9 主要时模块化变成,集合默认提供的工厂方法等。java 10 引入了很多安全模块,开发而言,对类型推导引入了var的关键字。pack...

2018-03-29 11:05:47

阅读数 4612

评论数 0

elasticsearch核心知识--34.搜索引擎_分析器的内部组成到底是什么,以及内置分词器的介绍

一、概念介绍    全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器), 这些Token会被进一步处理, 进行normalization时态转化,转成小写等, 这些处理算法被称为Token Filter(词元处理器)...

2018-03-27 11:16:03

阅读数 89

评论数 0

elasticsearch核心知识--18.图解Elasticsearch内部如何基于_version进行乐观锁并发控制

【该文章使用于从pimary shard和replica之间 备份的过程中 发生数据冲突的个人理解。如果发现理解有误,即使指正啊】关于ES底层如何采用乐观锁进行并发控制的图解。涉及的场景是 如果shard中的数据被多次更改,由于es底层对shard和replica之间的数据同步都是采用的多线程异步...

2018-03-22 15:13:24

阅读数 71

评论数 0

Java8学习计划--关于多核多线程并发编程-Java8-CompletableFuture 4的介绍

零零散散接近一个月的课余时间,学完Java8InAction和Guava,感触很多,收获也很大,特别开心,接下来会利用空余时间学习Spark,希望自己在技术上慢慢积累,越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Fun...

2018-03-09 17:24:33

阅读数 135

评论数 0

Java8学习计划--关于多核多线程并发编程-自定义Future并且增加监听器的实现

零零散散接近一个月的课余时间,学完Java8InAction和Guava,感触很多,收获也很大,特别开心,接下来会利用空余时间学习Spark,希望自己在技术上慢慢积累,越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Fun...

2018-03-09 17:16:34

阅读数 113

评论数 0

Java8学习计划--关于多核多线程并发编程-自定义Future的实现

零零散散接近一个月的课余时间,学完Java8InAction和Guava,感触很多,收获也很大,特别开心,接下来会利用空余时间学习Spark,希望自己在技术上慢慢积累,越来越从容。对于Java8 最大的改变是lambda表达式 Collecotors CompletableFutures等 Fun...

2018-03-09 17:14:23

阅读数 217

评论数 0

java8学习计划-ForkJoin测试

ForkJoin的概念的理解,已经使用具体的测试来实现 写ForkJoin,但是Java8 里面的 Stream的多核计算 采用Spliterator 这个也是对ForkJoin的封装。1. Fork/Join框架的引入Fork/Join框架是Java7提供了的一个用于并行执行任务的框架, 是一个...

2018-03-06 10:43:10

阅读数 85

评论数 0

Guava学习计划-Monitor

最近工作太忙了,一个礼拜没有更新CDSN了,深深的负罪感。先来一波线程锁把 这篇文章从三个不同的方式去  实现生产者和消费者模型。 第一种方式:synchronized+wait()+notifyAll() 第二种方式:ReentrantLock(java1.7) 第三方式去:Guava的...

2018-01-03 23:22:04

阅读数 156

评论数 0

Google Guava学习计划第一章Guava Utilities—StopWatch和ServerLoader

写文章之前,先给大家分享今天刚买的一个玩具,科大讯飞的阿尔法蛋,哈哈,真的很不错。 今天介绍的是StopWatch和ServerLoader的简单用法。 StopWatch: 在程序中我们总会需要log某个程序的执行时间,可以采用stopwatch,它底层代码对时间进行一系列转化,配合log4...

2017-12-14 22:03:03

阅读数 830

评论数 0

IDEA 插件activate-power-mode和Grep Console的安装使用

activate-power-mode:是IDEA 炫酷插件,在敲代码时能出现彩色的泡泡,如下图 可以直接在IDEA-plugins 在线安装,或者在http://plugins.jetbrains.com/  官网下载离线的jar,离线安装插件 IDEA 可以设置相应的设置 ...

2017-12-11 22:44:24

阅读数 1547

评论数 0

Google Guava学习计划第一章Guava Utilities—Joiner and Splitter

关于Google Guava在从多线程ListenableFuture 开始对其充满好感。Java代码写久了,总想着怎么去优雅和简洁,自己也接触过一段时间的scala,函数式风格确实让我十分喜欢,但是工作大部分还是Java。所以考虑通过google guava和Java1.8(stream,Fun...

2017-12-10 11:48:31

阅读数 196

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭