hadoop
文章平均质量分 54
shoubuliaolebu
这个作者很懒,什么都没留下…
展开
-
虚拟机ubuntu部署hadoop2.2.0伪分布(1)
链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg 开发环境:win7(32bit)+Eclipse(eclipse-jee-indigo-SR2-win32)1、首先安装虚拟机VMWare,然后在虚拟机上安装ubuntu系统(/linux镜像文件/ubuntu-12.04-server-i386.ios) 虚原创 2014-12-12 09:52:37 · 889 阅读 · 0 评论 -
Hadoop操作笔记--命令大全 .
转载自:http://blog.csdn.net/huaishu/article/details/11114291转载 2015-03-13 15:49:18 · 456 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
http://www.aboutyun.com/thread-7513-1-1.html(出处: about云开发)转载 2015-03-13 15:48:05 · 4805 阅读 · 0 评论 -
redis主从的配置和使用
1、解压redis压缩包tar zxvf redis-2.6.14.tar.gz2、执行以下命令安装注:首先用命令dpkg -l | grep make和dpkg -l | grep gcc检查系统是否安装了make和gcc应用,如果没有安装,请用apt-get install make和apt-get install gcc命令安装>cd redis-2.4.13>make转载 2015-03-04 23:17:27 · 422 阅读 · 0 评论 -
YARN作业运行机制
转自:http://ju.outofmemory.cn/entry/87825在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源, 应转载 2015-03-15 12:12:30 · 6711 阅读 · 0 评论 -
Hadoop 2.0+YARN启动脚本分析与实战经验
http://www.cnblogs.com/zhwl/p/3670997.html转载 2015-03-03 16:28:05 · 391 阅读 · 0 评论 -
nutch相关知识网址
细细品味Nutch:http://www.cnblogs.com/xia520pi/category/370858.html转载 2015-03-02 17:23:52 · 417 阅读 · 0 评论 -
网址参考
zookeeper安装网址:http://blog.itpub.net/23289442/viewspace-1120056hbase安装网址:http://www.aboutyun.com/thread-7746-1-1.html和http://blog.itpub.net/23289442/viewspace-1120056hive安装网址:http://www.aboutyun.co转载 2015-02-12 19:39:07 · 538 阅读 · 0 评论 -
hadoop相关日志配置项
(1)Hadoop系统服务输出的日志诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。resourcemanager的日志存放路径可以配置在(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh)中的YARN_LOG_DIR值默认值:$HADOOP_YARN_原创 2015-02-11 09:12:40 · 3785 阅读 · 0 评论 -
win7 eclipse调用虚拟机ubuntu部署的hadoop2.2.0伪分布(2)
所用软件下载网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg1、在eclipse中直接运行程序调用虚拟机ubuntu部署的hadoop2.2.0伪分布 (1)右键点击TestHadoop项目中的Run As选择Run Configurations,配置TestHadoop项目的运行参数:点击运行 问题1:运行报错如下:log4原创 2014-12-16 17:29:42 · 2053 阅读 · 0 评论 -
ubuntu64位hadoop2.2.0全分布安装部署
1、安装完ubuntu系统后,激活root账户 sudo passwd root(参考网址:http://www.aboutyun.com/blog-61-121.html) 2、增加用户 用命令sudo adduser aboutyun (注:ubuntu建用户最好用adduser,虽然adduser和useradd是一样的在别的linux糸统下,但是我在ubuntu下用useradd时原创 2015-02-06 22:13:48 · 1371 阅读 · 0 评论 -
虚拟机ubuntu部署hadoop2.2.0伪分布(2)
所用软件所在网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg 1、hadoop-2.2.0安装完成后接下来我们可以进行伪分布配置(Hadoop可以在伪分布模式下运行单结点)。(可参考网址:http://www.linuxidc.com/Linux/2014-09/106148.htm)接下来我们要配置的文件有四个,分别是/usr/mywind/h原创 2014-12-12 11:01:43 · 4818 阅读 · 0 评论 -
win7 eclipse调用虚拟机ubuntu部署的hadoop2.2.0伪分布(1)
所用软件下载网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramgwin7环境下jdk下载路径(/jdk/jdk-7u71-windows-i586.exe)eclipse下载路径(/eclipse/eclipse-jee-indigo-SR2-win32.zip)hadoop插件下载路径(/hadoop/eclipse插件/hadoop2x-ecli转载 2014-12-16 16:45:26 · 928 阅读 · 0 评论