- 博客(20)
- 资源 (19)
- 收藏
- 关注
原创 lucene 分词器
package cn.itcast.lucene.analyzer;import java.io.IOException;import java.io.Reader;import java.io.StringReader;import jeasy.analysis.MMAnalyzer;import org.apache.lucene.analysis.Analyzer;i
2013-04-30 09:31:01 835
转载 基于Eclipse的Hadoop应用开发环境配置
我的开发环境:操作系统centos5.5 一个namenode 两个datanodeHadoop版本:hadoop-0.20.203.0Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃,让人郁闷)第一步:先启动hadoop守护进程具体参看:http://www.cnblogs.com/flyoung2
2013-04-10 20:36:39 484
原创 获取HDFS集群上所有节点名称信息
通过"DatanodeInfo.getHostName()"可获取HDFS集群上的所有节点名称。具体实现如下:packagecom.hebut.file;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.h
2013-04-09 00:14:02 3077
转载 查找某个文件在HDFS集群的位置
通过"FileSystem.getFileBlockLocation(FileStatus file,long start,long len)"可查找指定文件在HDFS集群上的位置,其中file为文件的完整路径,start和len来标识查找文件的路径。具体实现如下:packagecom.hebut.file;importorg.apache.hadoop.conf.
2013-04-09 00:13:15 888
转载 HBase安装部署过程
安装HBASE先决条件 SHH安装,并且有公用ssh无密码跳转账号:admin(机器默认会安装SSH) 在namenode和各个slave上用机器名互相ping,ping不通的话,无法进行 JAVA环境安装(JDK1.6即可兼容HBASE-0.90.3版本) Hadoop环境安装(HADOOP版本为0.20.2完全兼容HBASE-0.90.3版本) 安装路径
2013-04-07 20:19:51 682
转载 Hadoop异步RPC通信机制
Hadoop的IPC是实现rpc的一种方法,不基于java的序列化机制。IPC中方法的调用参数和返回值只能是: 1、java基本类型 2、String和Writeable接口的实现类 3、以1、2元素为类型的数组 4、接口只允许抛出IOException 采用的是C/S模型(Client-NameNode,Client-DataNode,NameNode-D
2013-04-07 20:12:24 650
原创 Hadoop示例程序之单词统计MapReduce
在eclipse下新建一个map/reduce Project 1,新建文件MyMap.java import java.io.IOException; import java.util.StringTokenizer; import org.apache.Hadoop.io.IntWritable; import org.apache.hadoop.io
2013-04-07 19:53:32 577
翻译 HDFS中的从元数据节点
在HDFS中,NameNode用来管理文件系统的命名空间,其将所有的文件和文件夹的元数据保存在一个文件系统树中,这些信息会在硬盘上保存为fsimage(命名空间镜像)和edits(修改日志)文件;其还保存了文件包含哪些数据块,分布在哪些数据节点上,但这些数据并不保存在硬盘上,而是在系统启动的时候从数据节点收集而来的。DataNode是文件系统中真正存储数据的地方,其周期性的向元数据节点回报期存储的
2013-04-07 19:05:24 1645
转载 将本地文件上传至HDFS
将本地文件上传至HDFS [日期:2012-11-15]来源:Linux社区 作者:likehua[字体:大 中 小] //将本地文件上传到hdfs。 String target="hdfs://localhost:9000/user/Administrator/geoway_portal/tes2.dmp"; FileInputStream f
2013-04-07 14:20:38 1554
转载 程序员学习能力提升三要素
IT技术的发展日新月异,新技术层出不穷,具有良好的学习能力,能及时获取新知识、随时补充和丰富自己,已成为程序员职业发展的核心竞争力。本文中,作者结合多年的学习经验总结出了提高程序员学习能力的三个要点。众所周知,现在是一个知识爆炸的时代,知识更新非常快。据测算,一个大学毕业生所学到的知识,在毕业之后2年内,有效的不过剩下5%。对于软件行业而言,这种形势更为明显,我们赖以立足的,不在于我们现在
2013-04-06 02:00:02 503
转载 cp: omitting directory”错误的解释和解决办法
linux omitting directory 拷贝命令在linux下拷贝的时候有时候会出现cp:omitting directory的错误 ,例如 cp:omitting directory "bbs" 说明bbs目录下面还有目录,不能直接拷贝解决办法:递归拷贝 命令:cp -r bbs ../backup/bbs 解释:-r 这个options是递归的意思
2013-04-06 01:54:38 936
原创 hadoop 查看文件的常用命令
hadoop查看文件目录命令bin/hadoop dfs -lshadoop查看文件命令bin/hadoop dfs -lsr将linux上的文件复制到hdfs集群中bin/hadoop dfs -put .../abc abc其中.../abc 是你复制linux系统中的源文件在哪里abc 要拷贝到hadoop中变成什么文件或者在哪个路径下面将had
2013-04-05 23:14:02 9981
转载 hadoop FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目
2013-04-05 23:03:54 599
转载 java.io.FileNotFoundException: /exapp/hadoop/name/current/VERSION (Permission denied)
启动hadoo集群时 namenode没启动。查看日志,报错如下:java.io.FileNotFoundException: /exapp/hadoop/name/current/VERSION (Permission denied) at java.io.RandomAccessFile.open(Native Method) at java.io.RandomAc
2013-04-04 22:12:18 1194
原创 Hadoop安全模式的理解
安全模式异常:在hadoop的实践过程中,系统启动的时候去修改和删除文件有时候会报以下错误:org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解:“Name nodeis in safe mode.”hadoop的namenod
2013-04-04 22:08:06 651
mysql 慢查询
2018-10-21
mysql 索引与执行计划
2018-10-21
mysql数据库sql优化
2018-10-21
ibatis 单表查询 一对多查询
2013-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人