hadoop
文章平均质量分 83
peng4602
这个作者很懒,什么都没留下…
展开
-
hadoop安装部署
hadoop 主要是分name节点 辅助name节点 数据节点1 数据节点2 数据节点n。name节点就是用记录文件放在哪个数据节点上,数据节点就是用来存储实际数据的。就是指针和内存的关系。下载好hadoop后编辑xx/hadoop-2.7.3/etc/hadoop文件夹的配置文件。core-site.xml配置name节点的地址。hdfs-site.xml配置的数据的备份情况,...原创 2017-03-25 23:02:14 · 83 阅读 · 0 评论 -
hadoop2.7.3 win10部署
在win10下配置hadoop时 jdk的安装路径一定不能有空格。也就是不能安装在program files下另外就是hadoop有些cmd命令不能用需要重新下载一个。下载好全部覆盖到bin文件即可。下载地址:http://download.csdn.NET/detail/kokjuis/9706480 可参考http://blog.csdn.net/kokjuis/artic...原创 2017-03-27 16:48:35 · 313 阅读 · 0 评论 -
(转)HDFS 原理、架构与特性介绍
本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1:当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构: ${ dfs.name.dir}/curr...原创 2017-04-03 20:33:29 · 134 阅读 · 0 评论 -
Call From s0/192.168.56.140 to s0:8020 failed on connection exception
ubuntu@s0:~$ hadoop fs -ls /ls: Call From s0/192.168.56.140 to s0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/...原创 2017-04-03 21:12:26 · 1571 阅读 · 0 评论 -
hadoop启动脚本精华汇总
start-all.cmd --->set HADOOP_BIN_PATH=${hadoop_install}\sbin --->set HADOOP_LIBEXEC_DIR=${hadoop_install}\libexec ===>${hadoop_install}\libexec\hadoop-config.cmd ...原创 2017-04-04 21:15:51 · 196 阅读 · 0 评论 -
hadoop启动脚本分析
start-all.cmdsetlocal enabledelayedexpansion//@rem是主注释@rem Start all hadoop daemons. Run this on master node.//echo是输出文本echo This script is Deprecated. Instead use start-dfs.cmd and st...原创 2017-04-04 21:19:12 · 1088 阅读 · 0 评论 -
mapreduce初始二
如果一个文件大于hadoop指定的block大小(默认是128M),那么就会被切割。在集群环境里下,假设一个文件被切割成了4块那么,实际存储的时候不一定是4块,hadoop也有可能将将其中的2块合并,行成3块存储。一般情况下mapreduce 会执行本地的块的块,但也有清苦下本地没有块而去执行其他节点上的数据。主要是为集群中的机器能充分利用。hdfsnamenode ip:http:/...原创 2017-04-09 23:34:05 · 99 阅读 · 0 评论 -
各虚拟机中配置hadoop的模块
ubuntu-64-10 namenodeubuntu-64-11 datanode1ubuntu-64-12 datanode2ubuntu-64-13 secondarynamenode原创 2017-07-07 22:34:03 · 185 阅读 · 0 评论 -
hdfs和mapreduce启动的进程名称
hdfsnamenode 通过ip:50070图形化访问datanode 通过ip:50075图形化访问2nd namenode 通过ip:50090图形化访问mapreduce(yarn)resourcemanager 通过ip:8088图形化访问nodemanage 通过ip:8042图形化访问 ...原创 2017-07-18 20:28:25 · 629 阅读 · 0 评论