iteye_15100-CSDN博客

原创 elk简单搜索语句

如下语法可在elk的搜索框中使用详情参见 https://www.elastic.co/guide/en/elasticsearch/reference/current//query-dsl-query-string-query.html#query-string-syntax 再实现一个查询：字段name包含"mary"或"john" date大于2014-09-10 ...

2015-09-02 16:59:55 867

1.仅支持int 和 float Optionally you can add a data type conversion to your grok pattern. By default all semantics are saved as strings. If you wish to convert a semantic’s data type, for example change...

2015-09-02 16:58:31 1033

原创 elk在centos7部署，提示Could not find any executable java binary. Please install java i

在 /etc/sysconfig/logstash中添加对JAVA_HOME的配置如 JAVA_HOME=/opt/jre1.8.0_40 执行如下命令，使修改生效 source /etc/sysconfig/logstash

2015-07-22 10:34:38 422

原创 elasticsearch logstash kibana日志分析监控套件部署使用

ELK简介 ELK似乎是当前最为流行的日志收集-存储-分析的全套解决方案. Elasticsearch Logstash and Kibana can be used to gather and visualize the syslogs of your systems in a centralized location. Logstash is an open source tool...

2015-07-21 16:48:17 345

原创 add to sudoers and auto start services on Centos

How to add a CentOS user to the sudoers list vi /etc/sudoers ...## Next comes the main part: which users can run what software on## which machines (the sudoers file can be shared between multipl...

2015-07-02 15:00:46 106

通过复合key借助hadoop自身的排序实现secondary排序

问题描述：数据结构<任务id，资源类型，发布日期，词，频度> 已经按任务id，资源类型，发布日期，词汇总了频度信息，现在需要以<任务id，资源类型，发布日期>为分组，组内按频度倒排，提取前200条记录参考hadoop自带示例中的org.apache.hadoop.examples.SecondarySort实现复合key: WordFreq<Ta...

2015-07-01 14:34:45 174

原创 Hbase配置优化（转）

We have been implementing our product to support real time queries on HBase(version 0.94.0 with hadoop-1.0.0) & to improve performance of read & write operation, I have tunned hadoop/hbase co...

2015-06-11 11:26:34 206

原创运行mapreduce出现java heap space

运行后，map的0%都没完成，直接 org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space 受到这句话的启发 For us to see why your job is running out of memory we would prob...

2015-05-20 22:14:52 636

原创 Bloomfilter 持久化问题

问题描述：使用org.apache.hadoop.util.bloom.BloomFilter，将Hdfs文件夹中的所有文件内容添加到BloomFilter，然后将其持久化到Hdfs。直接从主函数运行正常从web程序调用，发现文件总是0.0b 错误原因： FSDataOutputStream输出流未flush，未close 正确代码： public static boole...

2015-05-19 13:25:46 876

原创从远端集群拷贝HBase表到本地HBase

背景描述：想导出服务器HBase里面的一张表remine_4520及其数据，我能通过java连接HBase库，浏览器能访问master的信息。方案：版本一样的话直接distcp表目录过来然后hbck一下就行 HBase0.94.8，Hadoop 1.1.2，集群使用了loz压缩，远端HBase master节点域名为namenode 期间遇到了各种问题问题1：执行 ./hado...

2015-04-26 08:42:36 355

原创 load data infile效率测试

测试用例40w条记录插入到mysql5.0.95库中 1.远程客户端文件方式，用时23.42sec 注意登录时指定--local-infile belinda@ubuntu:~$ mysql --local-infile -h 192.168.195.1 -u root -p Enter password: Welcome to the MySQL monitor. Command...

2015-04-13 23:16:59 617

原创编译hadoop1.2.x源码

参考 http://blog.csdn.net/zhangxh1013/article/details/7320860 linux配置jdk环境变量环境配置 ① $sudo vi /etc/profile ② 在末尾行添加 #set java environment JAVA_HOME=/usr/local/jdk1.7.0_75 CLASSPATH=.:$JAVA_HO...

2015-04-02 22:50:18 108

原创 redis主从配置与sentinel配置

1.linux 环境下redis安装，运行，关闭 1.1.安装 wget http://download.redis.io/releases/redis-2.8.19.tar.gz tar xzf redis-2.8.19.tar.gz cd redis-2.8.19 make make install cp redis.conf /etc/ 1.2.运行加载配置文...

2015-04-02 16:18:53 173

原创 eclipse配置web and JavaEE插件

1.Help-> Install new software->add Luna - http://download.eclipse.org/releases/luna 2.选择Web, Xml, Java EE and OSGi Enterprise Development下的如下内容进行安装 Eclipse Java EE Developer Tools Eclipse Java W...

2015-03-25 18:39:48 187

原创 eclipse配置run-jetty-run插件

1.安装run-jetty-run插件将附件中的runjettyrun_feature_1.3.1.jar和runjettyrun_1.3.1.jar拷入eclipse安装目录的plugins下。重启eclipse，在Run->Run Configurations中会多出来一个Jetty Webapp菜单项 2.参考http://www.cnblogs.com/super-d2/p/...

2015-03-25 15:03:29 406

记录mongoDB配置过程

1.从官网下载的mongodb-win32-i386-2.6.8-signed.msi 2.安装到D:\MongoDB 3.在D:\MongoDB下新建2个文件夹 data和log 4.启动mongodb mongod --dbpath=D:\MongoDB\data --logpath=D:\MongoDB\log\mongo.log --port 10001 D:\MongoDB...

2015-03-19 15:29:32 86

原创读《云服务传递网络资源动态分配模型》

原文 http://cjc.ict.ac.cn/qwjs/view.asp?id=3517 云服务传递网络，internet之上的分布式服务器网络，提供云传递服务，方式（就近，按需）。逻辑子服务网络。主要云服务类别：流媒体和下载类云服务。本文研究：上述云服务传递资源的动态分配问题。瓶颈（内存，带宽），热点内容可用P2P。建模为多维设备选址模型，分析并证明其NP完全性，提出一种启发式模...

2012-02-27 11:45:33 141

原创读《云计算平台中多虚拟机内存协同优化策略研究》

原文 http://cjc.ict.ac.cn/qwjs/view.asp?id=3514 虚拟化技术作用：为云计算基础设施动态部署、安全隔离提供保证内存虚拟化中挑战性问题：从多占内存的虚拟机回收内存，提供给内存紧缺虚拟机，优化虚拟机间内存分布。本文：多虚拟机内存管理架构（自发调节，全局协作），定义内存资源充裕、紧缺2个状态，提出算法。充裕时，自发调节；紧缺时，全局调节。对计算密集型和存...

2012-02-27 11:10:08 184

原创 tomcat下activemq之http配置

官方文档上有一个针对这种需求的文档：http://activemq.apache.org/web-console.html 实际配置过程如下 1、下载activemq-web-console和activemq-all 前者直接复制到tomcat的webapps目录下即可。后者复制到tomcat/lib目录下。地址：http://repo1.maven.org/maven2/org/a...

2011-04-05 14:41:50 238

读Cloud Computing, A Practical Approach(2)

[color=darkblue]云组件[/color] 从一种简单、拓扑的意义上讲，一个云计算解决方案由几个组件构成：客户端、数据中心和分布式服务器。如下图所示，这些组件构成了云解决方案的3个部分。 [img]http://dl.iteye.com/upload/attachment/454924/3f2f7844-df81-3f32-9753-0c68767ff10b.png[/img] ...

2011-04-04 09:59:29 108

原创读Cloud Computing, A Practical Approach

[color=darkblue]第一章云计算基础[/color] 唯一的问题是大家对云计算是什么没有达成共识。所以我们来讨论下什么是云计算并使我们的定义及对实现的理解更牢靠。 [color=darkblue]云计算综述[/color] 第一部分，我们将讲述什么是云计算，怎样开发及部署 [color=darkblue]解惑——什么是云计算[/color] 云计算取名自因特网的隐喻。在网络...

2011-04-02 17:32:00 124

原创读Hibernate实战（2）

数据导航问题遍历对象网络是访问面向对象的数据最自然的方式提高数据访问代码性能，将请求数据库的次数减到最少。所以使用表联接。只有当对象被初次访问时，所有对象持久化解决方案才提供抓取关联对象的数据的功能。这种piecemeal的数据访问在关系型数据库上下文中效率很低，因为n+1查询问题。最后，选择抓取不需要的东西到内存。 Hibernate提供了从数据库中有效，透明的抓取对象网络到应...

2010-06-26 13:55:44 74

原创读Hibernate实战

第一章理解对象/关系持久化针对持久化的ORM解决方案 Hibernate 是一种开源的ORM服务实现旨在成为java中管理持久化数据问题的一种完整解决方案。它调解应用程序和关系数据库的交互，把开发人员解放出来。无干扰的解决方案，即可以顺利和现有应用程序整合。 1.1什么是持久化 java中的持久化，一般指利用SQL在关系数据库中存储数据 ORM双方：关系数据库和java对象 ...

2010-06-23 15:30:07 162

原创读Software Product Line Engineering

全书概览本书依据我们对软件生产线工程的框架而组织。框架关注了软件生产线工程和单独软件系统开发的核心区别。 a)两种截然不同开发过程需求：域工程和应用工程。域工程工序的目的是定义和实现SPL的共性和可变性。应用工程工序的目的是通过挖掘SPL的可变性获得特定的应用 b)显示定义和管理可变性的需要：在域工程期间，可变性被引入了所有域制品（需求，架构，组件...）在应用工程期间根据不同用户的特定需...

2010-06-22 15:32:14 276

脚印