hdfs
文章平均质量分 55
GavinQiu
充满热血敢于拼搏的互联网人,希望能结识更多的朋友
展开
-
企业级Hadoop部署参数调整
1.节点内核参数调整 – ulimit,/etc/security/limits.conf 设置 nofile (同时打开文件数量的限制) – THP (Transparent Huge Page)、ACPI、内存overcommit问题 – 不同功能的节点进行不同设置 • 耗内存?swap? • 需要高磁盘吞吐? • CP原创 2016-07-12 09:11:35 · 289 阅读 · 0 评论 -
通过nfs3将hdfs挂载到本地
1.启动hdfs start-dfs.sh (启动后使用jps查看进程是否启动) 2.执行 hdfs portmap start和 hdfs nfs3 start 使用jps查看portmap和nfs3是否启动 3.执行 mount -t nfs -o vers=3,proto=tcp,nolock 10.211.55.38:/ /hdfs原创 2016-07-12 09:18:12 · 614 阅读 · 0 评论 -
通过webdav协议将hdfs挂载到本地
hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。部署过程:(hadoop版本为1.2.1,使用高版本有一些问题)下载war包修改WEB-INF/classes/hadoop-site.xml,修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop namenode ser原创 2016-07-12 09:19:45 · 1087 阅读 · 0 评论 -
datanode集群新加硬盘
将硬盘挂载到指定目录,如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data node should store its bl原创 2016-07-12 09:20:53 · 374 阅读 · 0 评论