![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
白可爱同学
这个作者很懒,什么都没留下…
展开
-
HDFS写数据流程
一、文件的写入客户端启动,建立一个Distributed FileSystem模块向NameNode请求上传文件,NameNode检查文件是否存在,父目录是否存在。NameNode检查完毕时候返回是否可以上传文件。客户端请求第一个Block上传到哪几个DataNode服务器上。NameNode返回需要上传的DataNode。比如node1,node2,node3。客户端通过通过FSDataOutputStream模块请求node1上传数据,node1收到请求会继续调用node2,然后node2原创 2020-08-12 16:34:43 · 168 阅读 · 0 评论 -
hadoop内存调优
最近服务器内存老是卡爆,主要是hadoop太吃内存了找了点资料给hadoop内存调优一下:在hadoop.env.sh中修改:export HADOOP_PORTMAP_OPTS="-Xmx256m $HADOOP_PORTMAP_OPTS"export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"在yarn-env.sh中修改JAVA_HEAP_MAX=-Xmx268m我是自己使用所以内存调的比较小,大家可以根据需要自己调节内存大小原创 2020-05-13 13:27:53 · 751 阅读 · 0 评论