hadoop
北漂小混混
这个作者很懒,什么都没留下…
展开
-
WinXP SSH连接不上虚拟机的解决方法
问题现象描述:在VMWare中安装好linux系统后,选择桥接,从宿主机Windows上使用Putty, SSH Secure Shell等客户端工具连接linux上的ssh服务,客户端一直没有反应,无法输入密码进行登陆。这个问题的很是怪异,因为在公司的WinXP上使用同版本的VMWare和linux,没有这个问题。VMWare选择NAT方式时,SSH可正确建立连接。从同网段的其它转载 2012-06-17 22:53:05 · 774 阅读 · 0 评论 -
HBASE基本安装配置
尝试了安装了一次HBASE,也学到了一点东西,记录下来1)、增加hbase用户可以操作的文件和进程的最大数网上看了教程,发现好多说BASE数据库会用到好多文件,需要配置一下LINUX用户的文件和进程限制。先按照网上的方法进行了配置,如下切换到root用户vi etc/security/limits.conf 在最后面加上hadoop - nproc 3原创 2013-06-15 16:08:03 · 1074 阅读 · 0 评论 -
hadoop 网络界面
HDFS : http://hadoop0:50070JobTracker: http://hadoop0:50030slave节点日志查看:http://hadoop1:50075/logs/master节点日志查看:http://hadoop0:50030/logs/hbase: http://hadoop0:60010/原创 2013-06-10 15:18:32 · 897 阅读 · 0 评论 -
hbase MapReduce程序样例入门
by 三江小渡1、先看一个标准的hbase作为数据读取源和输出源的样例:View Code JAVAConfiguration conf = HBaseConfiguration.create();Job job = new Job(conf, "job name ");job.setJarByClass(test.class);Scan scan =转载 2012-12-18 22:09:18 · 1107 阅读 · 0 评论 -
开启hadoop之旅的大门–安装配置篇
by 三江小渡主要写了JDK配置和hadoop的安装配置。windows下安装也类似,只是需要一个windows模拟linux环境的软件Cygwin。不过在windows下安装JDK很方便了,就不用参照linux安装JDK的步骤了。Linux安装JDK步骤:1. 先从网上下载jdk1.7或者1.6,去SUN的官方网站,尽量装1.6的版本。下载后安装:给所有用户添加可执行的权限转载 2012-12-18 21:46:08 · 581 阅读 · 0 评论 -
hbase shell基础和常用命令详解
by 三江小渡HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。1. 简介HBase是一个分转载 2012-12-18 22:11:37 · 662 阅读 · 0 评论 -
hbase安装配置和入门使用
by 三江小渡在这开始之前,相信你已经配置好hadoop集群的一切,以此为前提写的以下内容。一、快速开始的简单单机版配置:1、去hbase镜像站下载一个推荐的stable版本,此篇下的是hbase-0.92.1.tar.gz 。解压缩到喜欢的目录下。2、配置onf/hbase-site.xml,写入如下属性:hbase.rootdirfile:///DIRECT转载 2012-12-18 22:04:39 · 1383 阅读 · 0 评论 -
hadoop 0.20.2版本升级到1.0.3 记录
by 三江小渡升级分为两种,一种是集群布局不发生任何变化的,这种非常简单,十分类似安装一次新的hadoop程序;另外一种是集群布局发生变化的,这种要非常小心,因为牵扯数据安全,要让hdfs内的数据完整的迁移的新版本,所以要仔细。两种都简单的分为几步:1、在执行新一轮的升级前,要确保前一次升级已经定妥,用一下命令查看:$ hadoop dfsadmin -upgradeP转载 2012-12-18 21:49:15 · 1058 阅读 · 0 评论 -
hadoop集群搭建
by 三江小渡这篇介绍需要结合着前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇,有详细操作方法和命令。集群的搭建需要做的事情我一步一步的写一下,相应的步骤不会就看前一篇:1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致,即三台一摸一样的绝对路径。这里举例有以下三台服务器:1转载 2012-12-18 21:47:05 · 575 阅读 · 0 评论 -
看巨人,学巨人,超巨人
http://stblog.baidu-tech.com/ 百度搜索研发部http://www.searchtb.com/ 淘宝搜索技术博客http://sishuok.com/forum/blogPost/list/5761.html 私塾在线http://www.tbdata.org/archives/ 阿里集团数据平台牛人博客http://coolshell.cn/原创 2013-05-28 17:25:51 · 1072 阅读 · 0 评论