mengxpFighting的博客

不断学习,不断进步,才能让自己更加从容。

排序:
默认
按更新时间
按访问量

搭建Nexus Repository 3.6.0-02和配置apache-maven-3.5.2和本地的local Repository以及项目的pom.xml(IDEA 打包等)

本文主要目的: 为了让Maven管理项目的所有依赖包,Release和Snapshot . 本文涉及如下三点: 1.windows 下搭建Nexus Repository 3.6.0-02(linux下思路一样) 2.配置apache-maven-3.5.2中的settings和本地的local ...

2017-11-14 17:01:17

阅读数:1956

评论数:0

hadoop2.7.2本地调试MR IDEA本地调试mapreduce

1.hadoop官网上下载hadoop2.7.2.tar.gz  并且配置成环境变量开始之前必须配置本地的hadoop环境HADOOP_HOME=H:\source\hadoop\hadoop-2.7.2PATH中增加  %HADOOP_HOME%\bin配置完成后,通过cmd 执行hadoop ...

2017-11-04 18:31:09

阅读数:462

评论数:0

JVM 内存泄露

内存泄漏是指无用对象(不再使用的对象)持续占有内存或无用对象的内存得不到及时释放,从而造成内存空间的浪费称为内存泄漏。   长生命周期的对象持有短生命周期对象的引用就很可能发生内存泄漏,尽管短生命周期对象已经不再需要,但是因为长生命周期持有它的引用而导致不能被回收,这就是Java中内存泄漏的发生...

2018-08-29 15:53:25

阅读数:37

评论数:0

關於hadoop的安全模式

关闭hadoop safemode模式 解决办法: safemode模式 NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。 dfs.safe...

2018-07-26 17:40:46

阅读数:43

评论数:0

社区发现理解

最近一段时间工作上使用到了社区发现,虽然只是小小一部分。但是呢,工作量还是不小的,在网上找了很多的资料,也做了很多的研究性工作,看了非常多的paper,也做了一点小改进。那么来开始总结一下社区划分究竟怎么做,目前有哪些主流的做法以及他们的原理是什么。图,这里不是指图片的图喔。而是一个名字叫图的数据...

2018-07-02 09:58:21

阅读数:186

评论数:0

Maven 编译打包(java+scala)项目 单独的Java项目 的Pom和assembly的配置

第一个是单独的java项目的pom文件的配置 <!-- 配置打包的方式 --> <build> <!--打包前的各种source定义--> ...

2018-04-16 15:35:33

阅读数:161

评论数:0

Library sources not found for scala-library in Intellij

intellij idea查看scala sdk的源代码2016年7月31日作者:robin暂无评论下载源代码点击这个链接:http://www.scala-lang.org/download/all.html;选择需要的版本点击打开;在新打开的网页下方找到源代码下载项:在intellij ide...

2018-04-10 22:42:40

阅读数:408

评论数:0

使用模版创建索引并且设置IK分词器 同义词,Tika索引数据,对数据进行简单是搜索

1.为ES安装IK分词器 包含停用次 同义词等 2.使用模版创建ES索引 2个主分片 0个副本 数据源包含数字和字符串类型各一个 数据录入 字符串数据采用IK分词器分词 3.索引数据 数字类型为100以内的随机整数 字符串内容使用Tika工具读取不同格式的文本内容 4.查询...

2018-04-08 19:22:24

阅读数:128

评论数:0

Java 9 入门--模块化

模块化  模块化是java 9最大的一个特性,它使得代码组织上更安全,因为它可以指定哪些部分可以暴露,哪些部分隐藏。本质上讲,模块的概念,其实就是package外再裹一层,也就是说,用模块来管理各个package,通过声明某个package暴露,不声明默认就是隐藏。本文将通过Java10  IDE...

2018-04-07 21:05:10

阅读数:72

评论数:0

初步学习Git GitHub很好的博客地址以及elasticsearch 同义词配置 收藏

个人半天左右的时间学习了Git 强烈推荐这篇博客,非常不错。 赞赞赞   点击打开链接  【这个时命令行的方式 初步了解git的流程和原理】关于elasticsearch中同义词配置网站   点击打开链接---2018-04-06 关于采用git github TortoiseGit(图像可视化的...

2018-04-04 17:46:16

阅读数:103

评论数:0

elasticsearch核心知识---53.图解剖析document写入原理以及Segement的合并

图解ES 写入流程,分成三个部分,最终版本图解才是最终版的ES的写入流程。##################################第一部分#########################################Segment:lucene底层进行存储时,将一个index分为多...

2018-04-03 16:18:47

阅读数:315

评论数:0

elasticsearch核心知识---52.倒排索引组成结构以及实现TF-IDF算法

首先实现了采用java 简易的实现TF-IDF算法package matrixOnto.Ja_9_10_va; import com.google.common.base.Preconditions; import org.nutz.lang.Strings; import java.util...

2018-04-03 15:00:49

阅读数:191

评论数:0

elasticsearch核心知识---51.基于scroll+bulk+索引别名实现零停机重建索引

关于采用scroll  bulk和别名进行零停机重建索引。1、重建索引一个field的设置是不能被修改的,如果要修改一个Field,那么应该重新按照新的mapping,建立一个index,然后将数据批量查询出来,重新用bulk api写入index中批量查询的时候,建议采用scroll api,并...

2018-04-03 10:36:36

阅读数:65

评论数:0

elasticsearch核心知识---50.定制化自己的dynamic mapping策略

关于es中Type的策略,dynamic mapping 可以设置三张种策略。1、定制dynamic策略true:遇到陌生字段,就进行dynamic mappingfalse:遇到陌生字段,就忽略strict:遇到陌生字段,就报错PUT /my_index{  "mappings...

2018-04-03 09:32:07

阅读数:204

评论数:0

elasticsearch核心知识---49.ES中mapping root object _source _all _store _index关键字理解

关于_source  _all   _store  _index 这四个关键字  在这篇文章中非常详细点击打开链接1.root object就是某个type对应的mapping json,包括了properties,metadata(_id,_source,_type),settings(anal...

2018-04-02 15:41:45

阅读数:34

评论数:0

elasticsearch核心知识---48.内核级知识点:深入type底层数据结构

关于es底层的数据存储,以及解释type在数据存储中的角色定义和同一个index下的类型为什么一般数据格式比较相近或者相同的数据源才能让存储的性能更好。type  是一个index中用来区分类似的数据的,类似的数据,但是可能有不同的fields,而且有不同的属性来控制索引建立、分词器。documn...

2018-04-02 15:14:17

阅读数:151

评论数:0

elasticsearch核心知识--47.创建更新删除索引以及自定义分词器。

创建索引   创建索引的语法PUT /my_index{    "settings": { ... any settings ... },    "mappings": {        "type_one&...

2018-04-02 14:53:51

阅读数:45

评论数:0

elasticsearch核心知识--46.scroll技术滚动搜索大量数据以及和FromSize分页的本质区别和性能

scroll和formsize的区别以及性能比较   可以参考这篇文章  点击打开链接分页查询时基于用户查看,scroll时基于批量查询数据。性能方面 由于scroll时保存着上一次查询的快照,类似于查询的索引位置,所以性能时比fromsize好第一部分:关于scroll搜索大量数据如果一次性要查...

2018-03-30 17:23:43

阅读数:103

评论数:0

elasticsearch核心知识--45.搜索相关参数以及bouncing results问题解决方案

震荡问题(Bouncing Results)搜索同一query,结果ES返回的顺序却不尽相同,这就是请求轮询到不同分片,而未设置排序条件,相同相关性评分情况下,由于评分采用的算法时TF(term frequency)和IDF(inverst document frequecy) 算出的总分在不同的...

2018-03-30 15:45:19

阅读数:208

评论数:0

elasticsearch核心知识--44.内核之query phase和fetch phase的理解

对于一次query查询到数据返回到客户端,经历了两个过程  query phase和fetch phase的过程query phase 查询阶段     fetch phase 获取阶段。1 query phase(1)搜索请求发送到某一个coordinate node,构构建一个priority...

2018-03-30 15:34:30

阅读数:97

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭