2014年07月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

跟散仙学shell命令(一)

[b][color=olive][size=large]linux系统的重要性不言而喻了，好多项目都要部署到linux服务器上运行，学好shell命令和编程会对我们开发人员如虎添翼，所以很有必要学习，熟悉一番。既然是学习，就从最基础的开始,一步一步循序渐进。1，man命令是一个帮助我们，快速掌握某个命令的使用方法的命令，当然前提时我们安装了man命令模块，man命令的用法，man ...

2014-07-31 13:51:29 158

Hive0.13安装问题总结

[b][color=olive][size=large]继上篇文章Hive安装之后，本篇散仙就来总结下安装Hive过程中，出现的一些问题，以及解决方法。问题列表如下：[table]|序号|问题||1|为何我配置的是MySQL存储hive元数据，但总是存储到它自带的Derby数据库里?||2|为何我的Hive总是以Local模式启动，而不能将作业提交到Hadoop集群上？|...

2014-07-29 21:28:51 178

Hadoop2.2.0+Hive0.13+MySQL5.1集成安装

[b][color=olive][size=large]本次散仙安装的Hive是Hive最新版本中的稳定版本，是基于Hadoop2.2.0，以前有写过，如何在hadoop1.x下面安装Hive0.8，本次Hive的版本是Hive0.13，可以直接在Hive官网上下载二进制包，无须进行源码编译。Hive需要依赖底层的Hadoop环境，所以在安装Hive前，请确保你的hadoop集群环境已经可以正常工...

2014-07-29 20:33:15 353

原创 HDFS常用命令

[size=medium] HDFS 常用的文件操作命令1.-cat使用方法：hadoop fs -cat URI说明：将路径指定的文件输出到屏幕示例： hadoop fs -cat hdfs://host1:port1/filehadoop fs -cat file:///file3 2.-copyFromLocal使用方法：had...

2014-07-27 20:01:52 105

如何使用Python3.4连接MySQL

[b][color=green][size=large]python3发布以来，获取了广大程序员们的差评，说不稳定，又是不兼容什么的，不过差评归差评，python3既然已经发布，肯定是个趋势，但在python3.4里面，使用原来python2.7的mysqldb已经不能连接mysql数据库了，比较令人纠结，不过我们可以使用pymysql，来完成连接mysql的重任，步骤如下：[table]...

2014-07-25 18:35:09 138

如何使用Java API操作Hbase(基于0.96新的api)

[b][color=green][size=large]写了个Hbase新的api的增删改查的工具类，以供参考，直接拷贝代码就能用，散仙觉得基础的功能，都有了，代码如下：[/size][/color][/b][code="java"]package com.dhgate.hbase.test;import java.util.ArrayList;import java.util.L...

2014-07-24 20:16:34 177

原创 Hadoop2.2.0+Hbase0.96.2分布式集群搭建

[b][color=olive][size=large]最近项目有用到Hbase存储数据，由于现在的hadoop的集群是基于hadoop2.2.0的，所以不可避免的就需要使用新版的Hbase，以前和hadoop1.x的集群使用的hbase是0.94版本的，现在最新的版本是0.98的，鉴于不稳定，所以散仙就选择了0.96版的Hbase，本次搭建Hbase集群，是基于底层依赖Hadoop2.2.0...

2014-07-23 21:39:10 144

hadoop升级之fsck命令迎战miss block警告

[size=large]继上次升级hadoop完毕后，集群启动正常，但是在访问Namenode的50070的界面上，发现了如下截图的警告信息： [/size][img]http://dl2.iteye.com/upload/attachment/0099/3811/ef2a4650-2939-3697-a7b3-c300c9a9364d.jpg[/img][size=large]如上异...

2014-07-21 16:49:43 428

hadoop升级小记

[b][color=green][size=large]迎合技术发展，公司最近需要对原有的hadoop进行升级操作，升级前的hadoop为1.2.1的版本，升级后的hadoop为hadoop2.2.0的版本，下面散仙总结下升级心得：（1）hadoop的hdfs系统，支持不同的hadoop版本之间的数据平滑过渡，比如可以直接将Hadoop1.x的数据，升级到hadoop2.x的HDFS上，能...

2014-07-21 15:54:11 236

原创 Linux常用命令

[size=medium]一、文件和目录操作 1. pwd--显示工作目录路径语法： #pwd 功能：显示当前用户所处的工作目录的绝对路径。 2. cd--更改工作目录路径语法：cd [目录名] 功能：更改工作目录路径，可以使用绝对或相对路径名，绝对路径从/（根）开始，相对路径从当前目录开始。示例： #cd /etc //更改工作目录为/etc #c...

2014-07-18 11:06:01 255

Hadoop1.2.0的DataNode启动失败异常

[b][color=green][size=large]在配置hadoop1.x的集群时，如果我们在hdfs-site.xml里面，如果明确指定了dfs的路径，需要设置下dfs.data.dir的权限，下面是散仙在Hadoop1.2.0里面的配置：[/size][/color][/b][code="xml"]dfs.replication1dfs.name.dir...

2014-07-16 14:38:32 157

记一次hadoop磁盘空间满的异常

[b][color=green][size=large]本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！下面散仙模拟当时的环境，...

2014-07-14 18:27:06 1010

Java连接Hbase0.96异常

[b][color=olive][size=large]在Windows上直接使用JAVA API连接Hbase0.96报的一个异常，这个异常在Hbase0.94的版本里是没有的，为什么？跟你所用的底层的Hadoop有关系，如果是底层hadoop是1.x的版本，那么没有这个问题，如果是2.x的hadoop，那么需要注意了，可能会出现下面这个问题，异常如下：[/size][/color][/b]...

2014-07-14 13:43:49 173

Hadoop2.2.0集成Hbase0.96报的一个异常

[color=green][size=large]最近项目抓取的数据，存在Hbase里，所以需要从Hbase里读取数据，创建连接时，发现总是报如下的一个异常:[/size][/color][img]http://dl2.iteye.com/upload/attachment/0099/0648/7a8992ed-bd18-334f-a976-5ac3f1a5d78c.jpg[/img]...

2014-07-14 11:18:35 125

如何将Lucene索引写入Hadoop2.x？

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/2090121[/url][/size][/color][/b][b][color=olive][size=large]散仙，在上篇文章，已经写了如何将Lucene索引写入Hadoop1.x的HDFS系统，...

2014-07-09 20:22:50 173

JAVA里使用Jetty作为轻量级嵌入式的Web容器

[color=green][size=large]有时候，我们可能使用一个SOA服务，传递一些数据，但是我们又不想使用一些WebService服务，或者EJB重量级的JAVA EE框架，包括部署一个简单的Tomcat的Web服务，我们都不想去做，这时我们该用什么？ jetty作为一个比tomcat还轻量级的servlet容器，可以以非常轻小的姿态，集成在我们的应用程序里面，甚至可以作为一个嵌入式的...

2014-07-09 18:10:31 304

JAVA自带的监控工具

[color=black][size=medium]一、概述 SUN 的JDK中的几个工具，非常好用。秉承着有免费，不用商用的原则。以下简单介绍一下这几种工具。(注：本文章下的所有工具都存在JDK5.0以上版本的工具集里，同javac一样，不须特意安装) 。我一共找到以下四个工具：重点看看jconsole和jmap。Java代码 jp...

2014-07-09 10:50:45 303

JAVA各种排序思想和示例

[b][color=olive][size=large]JAVA里面几种排序算法的原理[table]|序号|名称|原理|1|冒泡排序|冒泡排序排序原理：通过两层循环控制，外层循环，控制查找第i层的数，在余下的数据里最小或最大的内层循环，负责依次比较下标相邻的两个数的大小，并负责将小数或大数的位置替换每次的比较，都是上次在内存中替换...

2014-07-08 20:33:35 112

JAV程序解析搜狗词库scel文件格式

[b][color=green][size=large] 在做一个电商的网站的初期时，我们常常面临词库的问题，因为我们并没有比较好的词库，这时候呢，我们就可以从网上下一些，别人有的词库，这些词库有淘宝的，有搜狗的，搜狗的分类比较细，我们可以根据下载与我们行业比较相关的词库，但这些词库一般都是scel格式的，直接使用JAVA解析，是没法解析的，如果遇到这种情况可用散仙下面的这个类，来解析，经测试无...

2014-07-04 17:36:25 835

如何将Lucene索引写入Hadoop？

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/2088076[/url][/size][/color][/b][b][color=green][size=medium]Hadoop是Lucene的子项目，现在发展如火如荼，如何利用Hadoop的分布式处...

2014-07-03 19:16:56 514