Nutch相关框架视频教程19

第十九讲

 

优酷在线视频地址（21分钟）

【视频下载地址】

 

1、Ganglia以组播方式监控同一个网段中的多个集群

vi  /etc/ganglia/gmetad.conf
data_source "cluster1"   10  host2
data_source "cluster2"   10  host6
data_source "cluster3"   10  host8

 

/etc/init.d/gmetad restart

 

下面要分别指定节点使用的端口：

cluster1：

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster1"
  owner ="unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定端口：

udp_send_channel {
  mcast_join = 239.2.11.71
  port = 8661
  ttl = 1
}
udp_recv_channel {
  mcast_join =239.2.11.71
  port = 8661
  bind =239.2.11.71
}

/etc/init.d/ganglia-monitor  restart

 

cluster2：

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster2"
  owner ="unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定端口：

udp_send_channel {
  mcast_join =239.2.11.71
  port = 8662
  ttl = 1
}
udp_recv_channel {
  mcast_join =239.2.11.71
  port = 8662
  bind =239.2.11.71
}

/etc/init.d/ganglia-monitor  restart

 

cluster3:

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster3"
  owner ="unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定端口：

udp_send_channel {
  mcast_join =239.2.11.71
  port = 8663
  ttl = 1
}
udp_recv_channel {
  mcast_join =239.2.11.71
  port = 8663
  bind =239.2.11.71
}

/etc/init.d/ganglia-monitor  restart

 

2、Ganglia以单播方式监控同一个网段中的多个集群

vi  /etc/ganglia/gmetad.conf
data_source "cluster1"   10  host2
data_source "cluster2"   10  host6
data_source "cluster3"   10  host8

 

/etc/init.d/gmetad restart

 

cluster1：

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster1"
  owner = "unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定接收数据的节点：

udp_send_channel {

  # mcast_join = 239.2.11.71

  host = host2

  port = 8649

  ttl = 1

}

udp_recv_channel {

  # mcast_join = 239.2.11.71

  port = 8649

  # bind = 239.2.11.71

}

/etc/init.d/ganglia-monitor  restart

 

 

cluster2：

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster2"
  owner ="unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定接收数据的节点：

udp_send_channel {

  # mcast_join = 239.2.11.71

  host = host6

  port = 8649

  ttl = 1

}

udp_recv_channel {

  # mcast_join = 239.2.11.71

  port = 8649

  # bind = 239.2.11.71

}

/etc/init.d/ganglia-monitor  restart

 

 

cluster3：

vi /etc/ganglia/gmond.conf

指定集群名称：

cluster {
  name = "cluster3"
  owner ="unspecified"
  latlong ="unspecified"
  url ="unspecified"
}

指定接收数据的节点：

udp_send_channel {

  # mcast_join = 239.2.11.71

  host = host8

  port = 8649

  ttl = 1

}

udp_recv_channel {

  # mcast_join = 239.2.11.71

  port = 8649

  # bind = 239.2.11.71

}

/etc/init.d/ganglia-monitor  restart

3、Ganglia监控不同网段中的多个集群

不同网段中的主机如果属于同一个集群，则无法使用ganglia的多播配置方法，必须使用单播。

下面把host226加入cluster1：

在host226上安装数据收集服务：

创建用户和组：

addgroup  ganglia

adduser  --ingroup  ganglia  ganglia

安装：

apt-get  install   ganglia-monitor

配置gmond：

vi/etc/ganglia/gmond.conf

先找到setuid= yes,改成setuid=no;

在找到cluster块中的name，改成name=”cluster1”;

指定端口(要注意刚才第一步演示组播的时候已经把UDP端口改为8661)：

udp_send_channel {
  mcast_join = 239.2.11.71
  port = 8661
  ttl = 1
}
udp_recv_channel {
  mcast_join =239.2.11.71
  port = 8661
  bind =239.2.11.71
}

重启服务：

/etc/init.d/ganglia-monitor  restart

 

【推荐书籍】