2015年07月_Eric-L90

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

转载 Thrift 連線至 Hbase 使用Python - ImportError: No module named Thrift

ImportError: No module named Thriftcd /home/grid/thrift-0.9.2/lib/pypython setup.py installhttp://lztian.com/blog/2045.htmlpython通过thrift访问hbasehttp://f.dataguru.cn/thread-

2015-07-26 23:12:54 2126

转载 Eclipse Java代码折叠插件 Code Folding

eclipse对于if等语句不能折叠真是太蛋疼了。用下面的插件解决：http://www.360doc.com/content/13/0826/11/1542811_309960108.shtml注意，配置完后要重启才能生效的。

2015-07-23 17:47:47 2989

转载 Python 文件处理

相关的API：文件夹：得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录：os.removedirs（r“c：\python”）检验给出的路径是否是一个文件：os.path.isfile()检验给出的

2015-07-22 18:21:39 518

转载 python中查找指定文件

若不包含子目录的遍历：除了os中的一些方法外，还有以下方法。1234import glob for filename in glob.glob("f:/py/*.exe"): print filename否则可以：1234

2015-07-22 18:19:09 1962

原创 hadoop安全模式管理

今天hadoop集群启动的时候遇到了安全模式的问题。这里说一下：hadoop安全模式，其实就是hadoop的一个自检模式。当我们启动集群的时候，hadoop会自动进行一些检测，比如数据块的检测。本来应该是3块，可是现在才2块，这个时候就进入了安全模式，知道恢复成3块，才会退出安全模式。这个模式下，我们是无法对hadoop集群进行操作的。所以，如果我们确定集群是正常的，可以手动退出：

2015-07-19 22:49:56 596

原创 elasticsearch 断路器设置

es中断路器主要是用来保证jvm内存的使用，避免因为内存使用过大，导致出现内存溢出的现象，导致集群崩溃。通产有一下三个配置选项： fielddata所能占用的最大内存，默认是jvm的60%，这里也可以直接配置成大小 indices.breaker.fielddata.limit： 60% 估算完成查询，其他需求需要的内存大小，如计算等等，默认是40% ind

2015-07-14 09:26:28 3050

转载 hadoop学习之基础Java GC详解

1.HotSpot上的分代分为哪三个部分？2.评估GC性能的指标有哪几个？3.年老区和永久区使用的是什么算法？转载自：http://www.aboutyun.com/thread-14276-1-1.html这是我公司同事的GC学习笔记，写得蛮详细的，由浅入深，循序渐进，让人一看就懂，特转到这里。1. GC特性以及各种GC的选择

2015-07-14 09:22:21 602

转载 elasticsearch G1垃圾回收器

转载自：http://donlianli.iteye.com/blog/1948787Java的垃圾回收真是让人又恨又爱。当今大内存已经成为服务器的趋势，使用CMS垃圾回收有点捉襟见肘。为何要使用g1垃圾回收，我想用过es的人都会很清楚。下面我就介绍一下在elasticsearch中，如何使用G1垃圾回收。首先找到es的配置文件。elasticsearch.in.sh，这个文件

2015-07-13 17:07:41 2258

转载 Linux硬盘的检测

转载自：http://czmmiao.iteye.com/blog/1058215概述随着硬盘容量、速度的快速发展，硬盘的可靠性问题越来越重要，今天的单块硬盘存储容量可轻松达到1TB，硬盘损坏带来的影响非常巨大。不同的文件系统(xfs,reiserfs,ext3)都有自己的检测和修复工具。检测之前可以先使用dmesg命令查看有没有硬件I/O故障的日志，如果有，先用fsck

2015-07-13 10:56:28 535

转载 Elasticsearch初始化配置

elasticsearch一些配置。

2015-07-09 11:23:41 4508

原创 elasticsearch的集群配置更新和索引配置更新

这些东西在官网上都有。因为经常用，在这里做个笔记：cluster updating：curl -XPUT localhost:9200/_cluster/settings -d '{ "persistent" : { "discovery.zen.minimum_master_nodes" : 2 }}'curl -XPUT localhost:9

2015-07-09 10:57:31 1762