![](https://img-blog.csdnimg.cn/20190925084029921.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
storm_fury
本是青灯不归客,却因浊酒留红尘
展开
-
Hadoop集群调优
系统层面调优避免使用 swap 分区:swap 分区指的系统的物理内存不够用的时候,把物理内存中的一部分空间释放出来,以供当前运行的程序使用。通过 vm.swappiness 参数控制,值阈为0 ~ 100,值越高说明操作系统内核更积极的将应用程序的数据交换到磁盘。将 Hadoop 守护进程的数据交换到磁盘是很危险的,有可能导致操作超时,所以一般将改值设为0 。内存分配策略...原创 2019-05-31 14:12:14 · 1260 阅读 · 0 评论 -
HDFS的DistCp使用
用法:hadoop distcp OPTIONS [source_path...] <target_path>参数描述-append重用目标文件中的现有数据,并在可能的情况下添加新数据-atomic提交所有更改或不提交更改-bandwidth 以MB为单位指定每个映射的带宽-blocksperchunk 如果将该值设置为正值,则包含比...原创 2019-05-29 10:07:17 · 5988 阅读 · 0 评论 -
Shell中判断HDFS中的文件或目录是否存在
在Linux文件系统中,Shell脚本判断某个文件是否存在:# 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!"fiHadoop提供了test命令判断HDFS上某个文件或目录是否存在:[root@node00 ~]# hdfs dfs -help...-test -[defsz] <path> :...原创 2018-12-20 13:56:36 · 5080 阅读 · 0 评论 -
Shell读取hdfs配置文件内容
hdfs上文件内容[root@node00 test]# hdfs dfs -cat /test/jdbc.propertiesjdbc.driverClassName=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://192.168.10.1:3306/jdbc.username=rootjdbc.password=123456读取内容脚本#!...原创 2018-12-06 10:03:20 · 2662 阅读 · 0 评论 -
Hadoop常用端口
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50...原创 2018-12-05 09:54:40 · 2061 阅读 · 0 评论