2013年10月_三劫散仙

12月 11月 10月 09月 08月 07月 06月

图解Hadoop1.2.1容量调度器的配置

[b][color=green][size=x-large]资源调度器是Hadoop集群中一个比较重要的模块，最初的hadoop资源调度器是基于队列形式的FIFO调度的，这种模式在大规模集群的时候，资源分配并不是很合理，比如一个后提交的任务，但想要它先执行怎么办，而在FIFO模式下，只能等到前面所有的JOB执行完后，才能执行这个作业。所以如何进行资源的合理管理和分配，就成了一个急待解决的需求，由此...

2013-10-31 17:32:27 195

CentOS6.4之图解Hadoop1.2.1完全分布式部署

[b][color=green][size=x-large]散仙上篇博客，介绍了Hadoop基于单机模式下的伪分布式的部署，那么今天我们来看下Hadoop完全分布式的部署，其实只要伪分布式部署的会了，那么完全分布式的相对来说就很简单了，只要我们在一台机器上部署好，然后远程拷贝给其他的子节点就可以了。散仙用的是Centos6.4的版本，hadoop1.2.1的版本，其他的一些linux系统都...

2013-10-25 18:55:45 117

原创 Linux命令大全收藏版

[b][color=olive][size=x-large]arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性...

2013-10-25 14:07:01 148

JavaScript一行代码保留任意位小数

[b][color=green][size=x-large]今天做一个业务时，结果由于跟权重有关，Java默认显示保留的是15位小数，所以客户要求保留3位小数，其实这个需求很简单，前台，后台都可以完成这个任务，但是为了系统的性能考虑，这种工作，能用前台完成就用前台完成吧，尽量用客户端分担服务器的压力，尤其是在高并发的场景下，任何一个细节都有可能影响整体的性能，进而并发数量越大，这个细节就会有可能扩...

2013-10-24 18:03:00 177

CentOS6.4之图解配置Hadoop1.2单机伪分布式

[b][color=green][size=x-large]基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop，那么散仙今天伪分布式的部署，使用的是Apache1.2的hadoop...

2013-10-22 16:40:04 66

CentOS6.4之SSH无验证双向登陆配置（二）

[b][color=green][size=x-large]上一篇博客，散仙详细的描述了SSH的无验证登陆方式，但会发现命令流程还是有点复杂的，那么有没有一种简单，快捷的方式来搞定呢？答案是肯定的。上篇我们在远程拷贝公钥文件时，用的是scp的方式，先把公钥从原机拷贝到从机上，然后使用[/size][/color][/b][code="java"]cat id_rsa.pub >> ~/...

2013-10-16 13:52:28 87

CentOS6.4之图解SSH无验证双向登陆配置

[b][size=x-large][color=green]配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低了频繁输入密码登陆的耗时，大大提高了管理效率。散仙写此篇文章，也是给准备入手Hadoop的道友们先做好一个基础的准备，当然你也可以不配...

2013-10-15 17:39:08 117

原创 Hadoop日志系统知识

[b][color=green][size=x-large]hadoop日志系统中的日志收集模块，在如今比较流行的以及开源具有代表性的有facebook的scribe，apache的chukwa，linkedin的kafka，以及非常优秀的cloudrea的flume，在1.x的hadoop生态系统中，flume比较适合做日志收集模块，因为其功能全面，且具有高扩展性，高稳定性，高可靠性，以及便于管...

2013-10-10 22:01:16 91

jtls异常 SSO Failed

[b][color=green][size=x-large]莫名其妙的出了个SQL server的连接异常[/size][/color][/b][code="java"]java.sql.SQLException: I/O Error: SSO Failed: Native SSPI library not loaded. Check the java.library.path sys...

2013-10-09 16:24:07 1039

Lucene4.3开发之第八步之渡劫初期(八)

[b][color=red][size=x-large]转载请注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/1953409[/url][/size][/color][/b][b][color=green][size=x-large]高亮功能一直都是全文检索的一项非常优秀的模块，在一个标准的搜索引擎中，高亮...

2013-10-08 19:30:51 183

原创懂一句就有收获

[b][size=x-large][color=olive][table]|1|只是给人打工，薪水再高也高不到哪儿去。所以在三十岁之前，机会远比金钱重要，事业远比金钱重要，将来远比金钱重要。对大多数人来说，三十岁之前干事业的首要目标绝不是挣钱，而是挣未来。 |2|包括感情上的，事业上的，也许仅仅是今天花了冤枉钱没买到可心的东西，朋友家高朋满座自己却插不上一句话。过分在乎失意的感受不是拿...

2013-10-03 13:14:26 198 1