- 博客(29)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 生产环境使用elasticsearch遇到的一些问题以及解决方法（不断更新）
1.由gc引起节点脱离集群 因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。解决方法：（1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：p
2014-07-31 12:19:36
1149
转载 es分布式 索引复制异常：org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception
[java] view plaincopyorg.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream Caused by: org.elasticsearch.transport.TransportSeria
2014-07-30 18:54:10
5572
转载 Jakarta Commons 读取xml配置
一 使用原生方式读取配置文件1 文件系统加载Java代码 InputStream in = new FileInputStream("config.properties"); Properties p = new Properties(); p.load(in); 2 类加载方式A 与类同级目录Java代码
2014-07-28 09:19:17
735
转载 log4j.properties配置详解
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下： #配置根Loggerlog4j.rootLogger = [ level ] , appenderNam
2014-07-27 11:15:52
601
转载 javacc安装与使用
首先，下载javacc-5.0，里面有bin文件夹、doc文件夹、examples文件夹。将其放在d盘下。 其次，配置环境变量。PATH=D:\javacc-5.0\bin 再次，cmd打开dos命令窗口，找到所要编译文件所在的文件夹 最后，输入命令：javacc NutchAnalysis.jj。即可对文件NutchAnaly
2014-07-24 09:43:59
1589
转载 使用JavaCC做语法分析
实用javacc 前言 本系列的文章的宗旨是让大家能够写出自己的编译器,解释器或者脚本引擎,所以每到理论介绍到一个程度后,我都会来讨论实践问题.理论方面,编译原理的教材已经是够多了,而实践的问题却很少讨论. 前几节文章只讨论到了词法分析和LL文法分析,关键的LR文法分析这里却还没有讲,我们先不要管复杂的LR文法和算法,让我们使用LL算法来实际做一些东西后再说.本文将介绍一
2014-07-24 00:18:26
2845
转载 通过 ulimit 改善系统性能
概述系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell 进程及其子进程的资源使用设置限制。本文将在后面的章节中详细说明 ulimit 的功能，使用以及它的影响，并以具体的
2014-07-21 20:31:26
443
转载 java注解应用实例 - Annotation, 自定义注解, 注解类规则
本文介绍了java的自定义注解及注解类编写的规则, 并通过实例来说明下如何使用java的注解. 实例演示了注解在类,构造方法,方法和字段的使用. 可以从这里下载到完成的工程代码: http://dl.iteye.com/topics/download/f74972df-234f-30c9-aadd-ca2ed1376bc2 自定义注解类编写的一些规则:1. Annotation型定义为@i
2014-07-21 15:15:25
381
转载 JAVA NIO 简介
Java综合1. 基本 概念IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现，底层通过 I/O 指令进行完成。所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 )2. Java 标准 io 回顾Java 标准 IO 类库是 io 面向对象的一种抽象。基
2014-07-21 08:50:11
438
转载 Maven2整合集成IntelliJ IDEA创建Web项目
1、新建项目，选择Maven Module，输入项目名称，点击Next继续。注意这里的Module就是项目的意思，等同于MyEclipse中的Project。接着直接点击Finish即可。下图就是创建完毕后的Maven项目，双击pom.xml查看POM文件内容，可以自行添加Maven的依赖。打开pom.xml文件，添加必须的Maven依赖。也叫Maven坐标
2014-07-19 13:15:53
537
转载 Maven with IntelliJ IDEA 学习笔记（一）
Maven ，知道这个东西已经很久了，也经常听别人提起，也知道是用来管理项目的，但从来都没有真正去用过，最近学习很多开源的项目中，发现很多都改为使用maven来管理代码，于是，终于决定好好的研究下这个久闻大名的工具！---- Maven Maven是什么？Maven是Apache下的一个开源的”项目管理工具“，它可以用来构建，打包，发布.....你的项目，废话也不
2014-07-18 14:44:21
727
转载 eclipse下执行wordcount报错 java.lang.ClassNotFoundException
我用eclipse执行wordcout，报错如下，网上一般都说是要加job.setJarByClass(WordCount.class);，但我代码里有这句另外，导出jar到linux下就正常了13/06/06 17:16:34 WARN mapred.JobClient: No job jar file set. User classes may not be found. See
2014-07-17 21:21:40
695
转载 ElasticSearch安装ik分词插件
一、IK简介 IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。
2014-07-17 20:16:08
853
转载 编译hadoop1.2.1 eclipse插件(3)
编译过程目录结构 eclipse目录 D:\Hadoop\eclipse-java-kepler-R-win32\eclipse eclipse工程目录 D:\Hadoop\wk_hadoop大家可以下载我的工程和编译好的插件，工程下载地址：http://pan.baidu.com/share/link?shareid=2533684141&uk=23996
2014-07-16 21:41:37
582
转载 解决：no device found for connection ‘ System eth0′问题
问题描述：在Vmware上面安装CentOS，开机后，使用：service network restart时，会提示一下错误：Shutting down loopback interface: [ OK ]Bringing up loopback interface: [
2014-07-15 23:46:26
6276
1
转载 VMware中CentOS设置静态IP
因为之前搭建的MongoDB分片没有采用副本集，最近现网压力较大，所以准备研究一下，于是在自己电脑的虚拟机中搭建环境，但是发现之前VMware设置的是DHCP，所以每次重新resume后虚拟机中IP都变了，导致之前已经搭建好的mongodb环境老是出问题又要重新搭建很麻烦，所以设置一下静态静态IP，步骤很简单：首先关闭VMware的DHCP：Edit->Virtual Network Ed
2014-07-15 22:49:50
599
转载 Lambda架构
Hadoop框架带来了批量数据处理，但是网络规模大数据的实时处理仍然是一个挑战。 有很多技术可以用来建立这样一个完整的数据处理系统 - 但要选择合适的工具并且编排使用它们却是复杂和艰巨的。Nathan Marz将任何数据系统都可定义为：“query = function(all data)”Lambda系统架构定义了一套明确的架构原则，如果要建立一套强大的和可扩展的数据系统
2014-07-13 10:41:49
1046
转载 Hadoop之hive学习
1. hive是针对什么问题提出的？ 之前有什么解决方案吗？超大结构化数据集，超出了一般MPP 的存储能力。MPP海量并行处理数据库的强项在于CPU，实时处理能力强，但其空间比较紧张；而hadoop的存储能强，但cpu的实时处理能力比较弱。Hive是一个基于hadoop的数据仓库。所以，二者是一个互补的关系。并且，逐渐的，二者会相互融合。2. hive在
2014-07-12 20:56:32
520
转载 jprofiler的使用
概述：JProfiler是用于分析J2EE软件性能瓶颈并能准确定位到Java类或者方法有效解决性能问题的主流工具，它通常需要与性能测试工具如：LoadRunner配合使用，因为往往只有当系统处于压力状态下才能反映出性能问题。 分析内存： 系统的内存消耗过多往往有以下几种原因：频繁创建Java对象，如：数据库查询时，没分页，导致查出表中所有记录；存在大对象，如：读取文件时，不
2014-07-12 13:12:33
2918
转载 CentOs 设置静态IP 方法
在做项目时由于公司局域网采用自动获取ＩＰ的方式，导到每次服务器重启主机ＩＰ都会变化。为了解决这个问题，我参考了http://blog.sina.com.cn/s/blog_537977e50100qhb5.html的文章然后根据自己的情况设置静态IP解决了这个问题，处理方式如下：１.修改网卡配置 编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0
2014-07-11 00:36:41
379
转载 使用expdp命令导出本地某个用户的数据
在plsql或者sqlplus中执行命令create directory dump_test as 'F:\xuyi\dump'执行该命令之前，要首先在硬盘上创建'F:\xuyi\dump'对应的文件件 --查看一下是否存在该目录select * from dba_directories; --授权给操作用户这个dump目录的权限
2014-07-09 12:50:53
5726
转载 安装 配置 初次体验gradle
前提： 安装Gradle。安装过程非常简单:参考： http://www.gradle.org/docs/current/userguide/installation.html(1)下载Gradle官网下载www.gradle.org/get-started(2)将GRADLE_HOME/bin/加入$PATH。将解压
2014-07-09 10:05:45
470
转载 java 字符串 字符数组 list之间的转换
1.关于java.lang.string.split xxx.split()方法可以将一个字符串分割为子字符串，然后将结果作为字符串数组返回。2.字符串转字符数组 String str =" aa.png,a2.png,a3.png"; String[] arrayStr =new String[]{}; arr
2014-07-08 14:22:01
552
转载 ORACLE EXPDP命令使用详细
ORACLE EXPDP命令使用详细相关参数以及导出示例： 1. DIRECTORY指定转储文件和日志文件所在的目录DIRECTORY=directory_objectDirectory_object用于指定目录对象名称.需要注意,目录对象是使用CREATE DIRECTORY语句建立的对象,而不是OS目录Expdp scott/tiger DIRECTORY= D
2014-07-07 19:57:23
446
转载 hadoop下mahout bayes（贝叶斯）算法研究（1）
1.算法简介 朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率哪个最大，就认为此待分类项属于哪个类别。这二十个新闻组数据集合是收集大约20,000新闻组文档，均匀的分布在20个不同的集合。这20个新闻组集合采集最近流行的数据集合到文本程序中作为
2014-07-06 11:43:10
671
转载 IDEA中利用JUnit进行单元测试
打开IntelliJ IDEA工具，Alt+Ctrl+S，弹出窗口如下：在文本框中输入Plugin进行插件搜索设置。点击按钮，从插件资源库中安装新的插件。从插件资源库中搜索JunitGenerator V2.0版本，在插件位置，鼠标右击选择Download and Install ，在弹出的对话框中选择yes按钮，点击OK之后在需要重启下
2014-07-02 17:58:54
8215
2
转载 ElasticSearch的安装和相关插件的安装
本文主要介绍如下内容： 1、ElasticSearch的安装(Windows 和 Linux) 2、ElasticSearch插件安装 3、ElasticSearch源码集成到Eclipse 1、ElasticSearch的安装 1）Windows环境
2014-07-01 23:05:33
572
转载 ElasticSearch: Java API
ElasticSearch provides Java API, thus it executes all operations asynchronously by using client object. Client object can execute the operations in a bulk accumulatively.Java API can be used interna
2014-07-01 22:58:10
1249
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人