hadoop
北漂小混混
这个作者很懒,什么都没留下…
展开
-
WinXP SSH连接不上虚拟机的解决方法
问题现象描述: 在VMWare中安装好linux系统后,选择桥接,从宿主机Windows上使用Putty, SSH Secure Shell等客户端工具连接linux上的ssh服务,客户端一直没有反应,无法输入密码进行登陆。 这个问题的很是怪异,因为在公司的WinXP上使用同版本的VMWare和linux,没有这个问题。VMWare选择NAT方式时,SSH可正确建立连接。从同网段的其它转载 2012-06-17 22:53:05 · 766 阅读 · 0 评论 -
HBASE基本安装配置
尝试了安装了一次HBASE,也学到了一点东西,记录下来 1)、增加hbase用户可以操作的文件和进程的最大数 网上看了教程,发现好多说BASE数据库会用到好多文件,需要配置一下LINUX用户的文件和进程限制。先按照网上的方法进行了配置,如下 切换到root用户 vi etc/security/limits.conf 在最后面加上 hadoop - nproc 3原创 2013-06-15 16:08:03 · 1072 阅读 · 0 评论 -
hadoop 网络界面
HDFS : http://hadoop0:50070 JobTracker: http://hadoop0:50030 slave节点日志查看:http://hadoop1:50075/logs/ master节点日志查看:http://hadoop0:50030/logs/ hbase: http://hadoop0:60010/原创 2013-06-10 15:18:32 · 893 阅读 · 0 评论 -
hbase MapReduce程序样例入门
by 三江小渡 1、先看一个标准的hbase作为数据读取源和输出源的样例: View Code JAVA Configuration conf = HBaseConfiguration.create(); Job job = new Job(conf, "job name "); job.setJarByClass(test.class); Scan scan =转载 2012-12-18 22:09:18 · 1101 阅读 · 0 评论 -
开启hadoop之旅的大门–安装配置篇
by 三江小渡 主要写了JDK配置和hadoop的安装配置。windows下安装也类似,只是需要一个windows模拟linux环境的软件Cygwin。不过在windows下安装JDK很方便了,就不用参照linux安装JDK的步骤了。 Linux安装JDK步骤: 1. 先从网上下载jdk1.7或者1.6,去SUN的官方网站,尽量装1.6的版本。下载后安装: 给所有用户添加可执行的权限转载 2012-12-18 21:46:08 · 571 阅读 · 0 评论 -
hbase shell基础和常用命令详解
by 三江小渡 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 1. 简介 HBase是一个分转载 2012-12-18 22:11:37 · 653 阅读 · 0 评论 -
hbase安装配置和入门使用
by 三江小渡 在这开始之前,相信你已经配置好hadoop集群的一切,以此为前提写的以下内容。 一、快速开始的简单单机版配置: 1、去hbase镜像站下载一个推荐的stable版本,此篇下的是hbase-0.92.1.tar.gz 。解压缩到喜欢的目录下。 2、配置onf/hbase-site.xml,写入如下属性: hbase.rootdir file:///DIRECT转载 2012-12-18 22:04:39 · 1377 阅读 · 0 评论 -
hadoop 0.20.2版本升级到1.0.3 记录
by 三江小渡 升级分为两种,一种是集群布局不发生任何变化的,这种非常简单,十分类似安装一次新的hadoop程序;另外一种是集群布局发生变化的,这种要非常小心,因为牵扯数据安全,要让hdfs内的数据完整的迁移的新版本,所以要仔细。 两种都简单的分为几步: 1、在执行新一轮的升级前,要确保前一次升级已经定妥,用一下命令查看: $ hadoop dfsadmin -upgradeP转载 2012-12-18 21:49:15 · 1050 阅读 · 0 评论 -
hadoop集群搭建
by 三江小渡 这篇介绍需要结合着前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇,有详细操作方法和命令。 集群的搭建需要做的事情我一步一步的写一下,相应的步骤不会就看前一篇: 1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致,即三台一摸一样的绝对路径。这里举例有以下三台服务器: 1转载 2012-12-18 21:47:05 · 565 阅读 · 0 评论 -
看巨人,学巨人,超巨人
http://stblog.baidu-tech.com/ 百度搜索研发部 http://www.searchtb.com/ 淘宝搜索技术博客 http://sishuok.com/forum/blogPost/list/5761.html 私塾在线 http://www.tbdata.org/archives/ 阿里集团数据平台 牛人博客 http://coolshell.cn/原创 2013-05-28 17:25:51 · 1062 阅读 · 0 评论