2014年03月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

如何使用Hadoop的DistributedCache

[b][color=green][size=large]DistributedCache是Hadoop的一个分布式文件缓存类，使用它有时候能完成一些比较方便的事，DistributedCache第一个比较方便的作用就是来完成分布式文件共享这件事，第二个比较有用的场景，就是在执行一些join操作时，将小表放入cache中，来提高连接效率。那么，散仙今天要介绍的是如何使用Distribut...

2014-03-28 20:54:41 298

如何查看Hadoop运行过程中产生日志

[b][color=green][size=large]用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里，日志信息的重要性，在这里散仙就不用多说了，调试任何程序基本上都得需要分析日志。hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统...

2014-03-28 20:05:48 839

[b][color=green][size=large]在我们的一些应用程序中，常常避免不了要与数据库进行交互，而在我们的hadoop中，有时候也需要和数据库进行交互，比如说，数据分析的结果存入数据库，或者是，读取数据库的信息写入HDFS上，不过直接使用MapReduce操作数据库，这种情况在现实开发还是比较少，一般我们会采用Sqoop来进行数据的迁入，迁出，使用Hive分析数据集，大多数情况下，...

2014-03-26 20:33:34 189

原创 JAVA集合之间的相互转换

[b]下面代码演示了List数组、ListSet、数组Set、Map将键转化为Set、Map将值转化为Set、Map将值转化为List等集合常用转化操作。 [/b][code="java"]public class TestApp { public static void main(String[] args) { //List-->数组 ...

2014-03-26 17:57:04 161

如何使用eclipse调试Hadoop作业

[b][color=green][size=large]使用eclipse来调试hadoop作业是非常简洁方便的，散仙以前也有用eclipse开发过hadoop程序，但是一直没有深入了解eclipse调试的一些模式，有些时候也会出一些莫名奇妙的异常，最常见的就是下面这个[/size][/color][/b][code="java"]java.lang.RuntimeException: jav...

2014-03-25 19:47:04 189

solr4.3.1的高亮实现

[b][color=olive][size=large]高亮功能，一直是全文检索框架必备的一个功能，大大提高了用户界面的友好性，散仙在前面基于lucene的文章里，已经写过关于lucene中的高亮实现，那么，今天呢，我们就来看下如何使用solrj在solr中实现关键字高亮？solr不愧是封装了lucene的企业级搜索引用，所有功能的实现都非常简单明了，在solr中关于高亮的实现一般有2种方式，...

2014-03-20 20:05:34 81

solr4.3配置主从同步

[b][color=green][size=large]分布式环境下，由于高并发的问题，通常我们需要部署多台服务器来负载均衡，从而避免，单点访问的热点问题，或者因负载过高而造成服务器瘫痪的问题等等。solr4.x之后推出了solrcloud的分布式集群方案，与4.x之前的Master/Slave集群模式，架构上发生了重大变化，solrcloud不仅仅解决了，高并发的负载均衡问题,也解决了海...

2014-03-20 17:29:18 100

Centos6.5下安装Memcached完整示例

[b][color=olive][size=large]Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护...

2014-03-18 18:20:35 105

做事的反循环与正循环

[b][size=large][color=olive]此篇文章，非散仙原创，来自CSDN[url=http://bbs.csdn.net/topics/390729660]论坛[/url],感觉作者说的很朴实，所以散仙不才，才借花献佛，转入Iteye中，希望更多的JAVA同胞们，也能看一下，领悟多少，就看个人造化了，CSDN论坛里面的内容，大部分还是不错的。建议大家先看下面原文，最后再到...

2014-03-18 10:35:37 364

Struts2+Hibernate+Spring之3大框架集成小例子

[b][color=green][size=large]SSH框架集成，可以说是JAVA Web开发中的一大利器，这些框架都经历了众多企业级开发的考验，散仙，今天写此篇文章的目的，第一呢，是自己好久没写过Web开发的例子，算是练练手，第二呢，也是最重要的一个目的，是为了某一个重要的人，而写的。所以散仙尽量会以入门者的心态，来阐述整个小项目环境的搭建以及部署开发的流程，尽量让大家通俗易懂，一目明...

2014-03-16 23:10:50 170

分布式助手Zookeeper（八）

[b][color=olive][size=large]散仙，在前几篇关于zookeeper的文章中，介绍了基于zookeeper实现的分布式公平锁，以及非公平锁，那么本篇呢，散仙就来介绍下关于使用zookeeper如何模拟实现一个分布式队列。那么为什么需要分布式队列呢？，我们都知道队列，在我们的编程开发中，是一种比不可少的数据结构，最典型莫过于，生产者与消费者的例子了，我们在程序过经常使...

2014-03-13 22:23:03 156

时不我待，奋发向上

[b][color=green][size=medium]此篇文章，也是散仙转载的，文章有些内容或许说的有点激进，希望大家看的时候，不要激动，理性思考。[/color][/b][b][color=gray]很多人会认为打工并不是投资，强烈反对这种观念。其实打工才是最大最愚蠢的投资。人生最宝贵的是什么？除了我们的青春还有什么更宝贵？很多人都抱怨我穷，我没钱想做生意又找不到资金。多么的可...

2014-03-13 10:31:05 149

原创 TCP/IP与HTTP，Socket的区别与联系

[b][size=medium][color=green]网络由下往上分为　　物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。　　通过初步的了解，我知道IP协议对应于网络层，TCP协议对应于传输层，而HTTP协议对应于应用层，　　三者从本质上来说没有可比性，　　socket则是对TCP/IP协议的封装和应用(程序员层面上)。　　也可以说...

2014-03-13 10:01:10 119

宽容心处世，常思已过。

[b][color=green][size=large]散仙，觉得这篇文章后面几句总结，说的还不错，程序员多读点精神食粮，也不错滴。[/size][/color][/b][b][color=black][size=small]【不到最后，不要轻易下判断】一天晚上，她在机场候机。为了打发几个小时的等候时间，她买了一盒饼干和一本书。她找到一个位子，坐了下来，专心致志地读起了书。突然间，...

2014-03-08 13:59:01 150

分布式助手Zookeeper（七）

[b][color=olive][size=large]上篇文章，散仙介绍了，分布式环境下，基于zookeeper实现的公平的锁，这篇，我们来看下，如何使用zookeeper来完成非公平锁的模拟，在这之前，我们先来，了解下公平锁和非公平锁的区别。 JAVA JDK提供了公平锁，与非公平锁，但这种实现是基于同一个JVM来说的，如果同一台机器上，不同的JVM，则可以使用文件锁，来实现...

2014-03-08 13:27:05 125

分布式助手Zookeeper（六）

[b][color=green][size=large]散仙，在关于zookeeper的前几篇文章中，除了记录了zookeeper的一些基础知识，也介绍了怎么使用zookeeper来完成，配置文件同步，和主从自动切换的功能，那么，本篇散仙将会介绍下如何使用，zookeeper来完成分布式锁的功能，其实本质上是与主从切换的实现代码是非常类似的，但是功能上强调的重点不一样。至于，为什么需要分布...

2014-03-08 10:48:00 164

Linux下设置JDK环境变量

[b][size=large][color=olive]散仙的Linux系统是centos6.5，首先使用vi /etc/profile编辑此文件，加入以下3行设置即可[/color][/size][/b][code="java"]export JAVA_HOME=/root/jdk1.7export PATH=$JAVA_HOME/bin:$PATHexport C...

2014-03-07 10:21:10 103