记录云服务器上Hadoop查看HDFS的Web页面一直连接拒绝

原因:/etc/hosts中的映射配置问题
检验是否为映射问题:netstat -ntpl
在这里插入图片描述
修改映射:
在这里插入图片描述
最后查看:
在这里插入图片描述

首先,需要在web网站服务器上安装Flume,并确保可以访问Hadoop集群HDFS。 接下来,按照以下步骤进行配置: 1. 在Flume的配置文件flume.conf添加以下内容: ``` # Name the components on this agent agent.sources = web_source agent.sinks = hdfs_sink agent.channels = memory_channel # Describe/configure the source agent.sources.web_source.type = http agent.sources.web_source.port = 80 agent.sources.web_source.handler = com.cloudera.flume.source.HTTPSourceHandler agent.sources.web_source.channels = memory_channel # Describe the sink agent.sinks.hdfs_sink.type = hdfs agent.sinks.hdfs_sink.hdfs.path = hdfs://<hdfs_namenode_host>:<hdfs_namenode_port>/<hdfs_directory_path> agent.sinks.hdfs_sink.hdfs.filePrefix = web_data agent.sinks.hdfs_sink.hdfs.rollInterval = 3600 agent.sinks.hdfs_sink.hdfs.rollSize = 1024 agent.sinks.hdfs_sink.hdfs.fileType = DataStream agent.sinks.hdfs_sink.channel = memory_channel # Use a channel which buffers events in memory agent.channels.memory_channel.type = memory agent.channels.memory_channel.capacity = 10000 agent.channels.memory_channel.transactionCapacity = 1000 ``` 其,`web_source`是Flume的数据源,通过HTTP协议获取数据,`hdfs_sink`是Flume的数据输出目标,将数据写入HDFS。`memory_channel`是Flume的事件缓存通道。 2. 修改配置文件的`<hdfs_namenode_host>`、`<hdfs_namenode_port>`和`<hdfs_directory_path>`为实际的Hadoop集群的配置信息。 3. 启动Flume代理: ```bash $ flume-ng agent -n agent -c conf -f flume.conf ``` 4. 在web网站上生成数据,并确保Flume代理正在运行。 数据将被写入到HDFS指定的目录,每小时滚动一个文件。可以使用Hadoop命令行界面或Hue等工具查看数据是否已成功写入HDFS
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值