hadoop
noodlesfate1
这个作者很懒,什么都没留下…
展开
-
Hadoop安装
一 下载apache官网->projects->hadoop->releases->找最新版本binary(二进制下载)->镜像地址找最上面的复制链接下载,该软件包同时含有linux和windows版本二 安装cd /mnt/hgfs/Copy/hadoopcp hadoop-2.7.2.tar.gz ~/Downloadscd ~/Downloadstar -xzvf h原创 2016-06-29 14:36:02 · 214 阅读 · 0 评论 -
hadoop配置独立模式(Standalone Mode)
hadoop------------------------------目的:处理海量数据1 存储分布式文件系统:HDFS,hadoop distribution file system2 运算mapreduce, map()+reduce------------------------jps //java指令,查看当前机器中运行的java进程原创 2016-06-29 15:49:44 · 634 阅读 · 0 评论 -
Hadoop配置伪分布模式
配置文件:${hadoop_install}etc/hadoop/*-site.xmlfs.defaultFShdfs://localhost/dfs.replication1mapreduce.framework.nameyarnyarn.resourcemanager.hos原创 2016-07-01 13:48:46 · 256 阅读 · 0 评论 -
启动停止守护进程
一 格式化hdfs文件系统hdfs namenode -format二 启动hdfs和yarn的守护进程start-dfs.sh //start-dfs.sh和start-yarn.sh在/usr/soft/hadoop/sbin下,start-all.sh是start-dfs.sh+start-yarn.shstart-yarn.sh原创 2016-07-01 16:36:58 · 460 阅读 · 0 评论 -
hadoop连接方式配置-fs操作-put
cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml /////多个文件合并cat选择启动哪种配置模式:ln -s hadoop_pseudo hadoop(前提是剔除环境变量)export HADOOP_CONF_DIR= ////剔除环境变量创建用户目录hadoop fs -ls / //原创 2016-07-04 10:39:30 · 2025 阅读 · 0 评论 -
hadoop完全分布式-1
查看log文件(重要),以后出现很多错误都要从此处查找1 通过log文件查看cd ${HADOOP_INSTALL}/logscat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志cat hadoop-ubuntu-datanode-bogon.l原创 2016-07-05 15:56:59 · 254 阅读 · 0 评论