hadoop cdh5.1对centos系统本身的配置要求

2019独角兽企业重金招聘Python工程师标准>>>

当运行任务的时候，nodemanager 或报出如下错误

java.lang.OutOfMemoryError: unable to create new native thread

解决方式：配置linux本身。

echo "100000" > /proc/sys/kernel/pid_max     

echo "200000" > /proc/sys/vm/max_map_count 

针对centos6.5，追加如下文件

vi /etc/security/limits.d/90-nproc.conf

*          soft    nproc     unlimited

root       soft    nproc     unlimited

 追加如下内容

 /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* hard nproc 100000

* soft    nproc           100000 

ulimit -a 需要配置如下：

例如open files

max user processes

/home/game/.bash_profile 最后一行放

ulimit -u 65535

[ @  sbin]$ ulimit -a

core file size          (blocks, -c) 0

data seg size           (kbytes, -d) unlimited

scheduling priority             (-e) 0

file size               (blocks, -f) unlimited

pending signals                 (-i) 514847

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 65535

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 10240

cpu time               (seconds, -t) unlimited

max user processes              (-u) 65535

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited

转载于:https://my.oschina.net/forrest420/blog/341308