实验室有一个几十台节点的安装hadoop的集群,其网络结构是:只有一台管理节点能连外网,其它节点只能局域网中互相访问。这样在浏览器中查看hadoop的jobtracker或health等信息时,不能访问到slave节点的信息,如果master不在集群的管理节点,甚至完全不能访问。
在集群的能够访问外网的节点上安装代理服务器,可以很好的解决这个问题,从而便于利用hadoop的web控制台跟踪任务执行的情况。
安装squid,本文使用的是squid-2.6.STABLE20,操作系统是Redhat Linux
1.下载源码,解压,configure,make,make install
2.配置 安装目录/etc/squid.conf,主要包括授权网段,服务器ip,端口等。
3.cd 安装目录;sbin/squid -z;sbin/squid -k parse;sbin/squid start
在开发者的浏览器中配置代理地址和端口即可
在集群的能够访问外网的节点上安装代理服务器,可以很好的解决这个问题,从而便于利用hadoop的web控制台跟踪任务执行的情况。
安装squid,本文使用的是squid-2.6.STABLE20,操作系统是Redhat Linux
1.下载源码,解压,configure,make,make install
2.配置 安装目录/etc/squid.conf,主要包括授权网段,服务器ip,端口等。
3.cd 安装目录;sbin/squid -z;sbin/squid -k parse;sbin/squid start
在开发者的浏览器中配置代理地址和端口即可