2013年12月_三劫散仙

12月 11月 10月 09月 08月 07月 06月

Lucene4.3进阶开发之漫漫修行( 四)

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/1997577[/url][/size][/color][/b][b][color=green][size=large]散仙，在上篇文章中分析了IndexReader家族的两个重要模块分别是它的两个重要...

2013-12-31 01:50:17 120

[b][color=green][size=large]上传下载功能，几乎是一个Web应用中必不可少的功能，下载来说，通常我们有两种方式来实现，第一种直接使用超链接的方式连接到一个文件地址进行下载，但是如果txt的格式的话，则会直接打开在页面上，有点不符合下载的意思，其他的还好，最好整成一个压缩包的方式进行下载，第二种的方式使用JAVA的流下载，这种方式比较通用，一般基于一些WEB层框架如Stru...

2013-12-30 19:02:24 157

sqoop的安装使用

[b][color=olive][size=large]散仙，在上篇文章中，简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用sqoop（注：散仙在这里部署的是sqoop1的环境搭建）。首先，sqoop是基于Hadoop工作的，所以在这之前，确保你的Linux环境下，已经有可以正常工作的hadoop集群，当然伪分布式和完全分布式都可以。[/siz...

2013-12-29 23:24:10 119

数据迁移工具sqoop入门

[b][color=olive][size=large]首先，先简单说明下sqoop是什么，sqoop 即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，sqoop1和sqoop2。那么为什么选择sqoop呢？1，高效可控的利用资源，任务并行度，...

2013-12-29 22:07:38 116

Hbase异常(无法定位登录配置)

[color=green][size=large][b]散仙，最近再用Sqoop从Mysql数据库里向Hbase里导入数据，导入成功后，在eclipse上使用Java Hbase API的连接集群，打印所有数据，结果一运行程序，日志显示无法定位登录配置，具体信息如下：[/b][/size][/color][code="java"]2013/12/29-02:20:46 INFO ZooK...

2013-12-29 02:48:04 216

原创 Python小知识

[b][color=olive][size=large]在使用Python多年以后，我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用，但却没有充分利用。考虑到这一点，我编辑了一些的你应该了解的Pyghon功能特色。带任意数量参数的函数你可能已经知道了Python允许你定义可选参数。但还有一个方法，可以定义函数任意数量的参数。首先，看下面是一个只定义可选参数的...

2013-12-27 10:44:25 135

Lucene4.3进阶开发之入乡随俗(三)

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/1995329[/url][/size][/color][/b][b][color=green][size=large]散仙在前2篇文章中，简单分析了Directory家族的功能以及作用，同时也对Dir...

2013-12-25 15:20:40 147

Hadoop2.2.0的eclipse插件的编译

[b][color=green][size=large]Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多...

2013-12-17 13:12:41 82

Lucene4.3进阶开发之乱世丛生(二)

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/1990616[/url][/size][/color][/b][b][color=green][size=large]时间过的真快，又有半个月没更新lucene的文章了，散仙最近在工作上，稍微忙了一点...

2013-12-17 01:10:26 120

Java字符串的编码

[b][color=olive][size=large]计算机的底层存储只能是二进制字节，而常常大部分时候，我们都喜欢看那么我们能看懂的字符，这也就是字符串，在这个过程中，涉及2个概念，编码(Encode)和解码(Decode) ,通常而言，把明文的字符序列，转换成计算机理解的二进制序列这个过程称为编码，而把二进制序列转换成普通人能看懂的明文字符串这个过程称为解码。[/size][/color][...

2013-12-10 19:12:58 160

来点实用的Java NIO（五）

[b][color=olive][size=large]从JDK1.4开始，Java 提供了一系列改进的输入和输出处理的新功能，这些功能被称为新IO,新增了许多用于处理输入，输出的类，这些类都被放在java.nio的包以及子包下，并且对原java.io包中的很多类都以NIO的方式，进行了改写，新增了满足NIO的功能。[/size][/color][/b][b][color=green][s...

2013-12-10 18:15:02 98

Hive的入门安装

[b][color=green][size=large]hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive最早由fac...

2013-12-09 15:44:00 87

CentOS6.4下装mysql

[b][color=green][size=large]散仙，最近学习中需要使用Hive对hadoop的数据进行统计，因为Hive需要配置一个数据库存它的元数据信息，非常重要，其实，Hive已经自带了一个derby的内置数据库，但是这个数据库因为有某些方面的限制，所以很少有人用。那么散仙就需要装一个简单的mysql数据库来代替了。[/size][/color][/b][b][color...

2013-12-09 13:08:21 97

分布式助手Zookeeper（五）

[b][color=olive][size=large]散仙在上篇文章分享了关于使用zookeeper来完成配置同步的功能，那么本篇，散仙依旧是模拟实现一个基于zookeeper怎么解决单点故障的案例。单点故障问题，在分布式系统中是一个很有可能发生的场景，比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障，当然这个问题已经在Hadoo...

2013-12-05 17:41:49 135

分布式助手Zookeeper（四）

[b][color=olive][size=large]Zookeeper是分布式环境下一个重要的组件，因为它能在分布式环境下，给我带来很多便利，大大简化了分布式编程的复杂性，本篇散仙将给出一个模拟例子，来演示下如何使用Zookeeper的API编程，来完成分布式环境下配置的同步。大家都知道在一个中大型的规模的集群中，配置文件通常是必不可少的的东西，很多时候，我都需要将在Master上配置好的配置...

2013-12-05 14:15:45 108

分布式助手Zookeeper（三）

[b][color=olive][size=large]本篇，散仙要介绍一下基于zookeeper的一些API的编程。在此之前，我们先来熟悉一下相关知识：[/size][/color][/b][b][color=green][size=large]Zookeeper的Session：（1）客户端和server间采用长连接（2）连接建立后，server产生session ID...

2013-12-04 17:51:10 196

分布式助手Zookeeper（二）

[b][color=olive][size=large]散仙在上篇文章介绍了，zookeeper的一系列基础知识，如果，你还不清楚zookeeper的基本架构，或者工作原理，那么，建议看一下散仙的上篇文章。本篇，散仙来介绍下怎么安装部署zookeeper，其实散仙在Hbase的安装部署里，已经介绍过独立的zookeeper的安装部署，本次除了zookeeper的集群安装外，还会额外介绍一下，怎么在...

2013-12-04 15:46:07 90

分布式助手Zookeeper（一）

[b][color=olive][size=large]Zookeeper最早是Hadoop的一个子项目，主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务，在2010年10月升级成Apache SoftwareFoundation(ASF)顶级项目，它主要提供以下的四个功能：[table]|功能名||组管理服务||分布式配置服务||分布式同步服务||分布式...

2013-12-04 14:22:29 131

原创一些常用的正则表达式

[b][color=green][size=large] "^\d+$"　　//非负整数（正整数 + 0） "^[0-9]*[1-9][0-9]*$"　　//正整数 "^((-\d+)|(0+))$"　　//非正整数（负整数 + 0） "^-[0-9]*[1-9][0-9]*$"　　//负整数 "^-?\d+$"　　　　//整数 "^\d+(\.\d+)?$"　　//非

2013-12-04 10:32:33 81