《基于HDFS-Shell操作的海量Web服务器日志分布式存储》

已于 2022-02-06 20:54:09 修改
阅读量439 收藏 6
点赞数
分类专栏： 笔记 文章标签： hdfs java
于 2021-10-12 22:24:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56435059/article/details/120733584
版权

《基于HDFS-Shell操作的海量Web服务器日志分布式存储》

相关命令
1）开启hadoop进程
start-all.sh
jps
namenode、secondarynamenode
2)在HDFS创建/web_data文件夹。
在这里插入图片描述
在这里插入图片描述
3）将/root/stu/data/下的日志文件，上传至HDFS上的/web_data文件夹中。
创建文件夹，添加日志文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查看一下
在这里插入图片描述
4）向HDFS上传文件日志文件并且把日志文件改名为web_data.log。
在这里插入图片描述

5）查看HDFS上的日志文件

在这里插入图片描述

6）下载日志文件到本地文件夹。
7）把文件从/web_data/web_data.log目录移动到/hdfs/目录。
8）删除/hdfs/下的web_data.log
在这里插入图片描述

语笑嫣然Y.Annd
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-HDFS-基于Hadoop的hdfs-分布式文件系统架构
12-22
分布式文件系统架构，存放的是文件的数据信息和验证文件完整性的校验信息，心跳机制
HDFS相关内容
王晓斌的博客
04-22 676
HDFS 一、文件系统的定义  文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问 和查找变得容易；  文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘 哪里，只需要记住这个文件的所属目录和文件名即可；  文件系统通常使用硬盘和光盘这样的存储设备，并维护文件在设备中的物理位置。 二、数据、元数据概念  数据 指存储的内容本身，比如文件、视频、图片等，这些数据底层最终是存储在磁盘等存储介质上的，一般用
基于Web存储技术制作网页日志本 localStorage技术，可以把用户记录的日志永久存储下来。本例将实现一个单页面的日志本，包括添加、删除指定日期的日志和清空全部日志3个功能
daddykei的博客
05-17 2944
<!doctype html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0"> <meta http.
分布式文件系统与HDFS的shell操作
eyexin2018的博客
11-05 248
1. 分布式文件系统与 HDFS 1.1数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统 管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就 是分布式文件管理系统 。 1.2学术一点的定义就是：分布式文件系统是一种允许文件通过网络在多台主机上分享的文 件系统，可让多机器上的多用户分享文件和存储空间。 1.3分布式文件管理系统很多， HDFS 只是其中一种。适用于一次写入、多次查询的情 况，不支持并发写情况，小文件不合适。 hadoop两个核心 HDF
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
皓亮君的博客
09-21 7101
使用Flume采集日志数据到HDFS中
HDFS小结(分布式存储)
背着梦的幸存者
10-14 592
绪论 1、HADOOP的历史 2、HDFS存储原理 2.1、各个角色的作用 2.1.1、NameNode 2.1.2、DataNode 2.1.3、SecondaryNameNode 2.1.4、ZKFC 2.1.5、JournalNode 2.1.6、Standby状态的NameNode（备用Nam
2、HDFS操作 - shell客户端
05-29
2、HDFS操作 - shell客户端 网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。 本文分为2个部分介绍，即语法格式与具体示例。
09.hbase的核心特性--基于hdfs-分布式数据管理--表结构.mp4
04-29
09.hbase的核心特性--基于hdfs-分布式数据管理--表结构.mp4
Hadoop-HDFS-Shell-学习资料及文档、Java代码
10-01
内容概要： 架构、流程、机制、原理、环境、数据...HadoopHDFS-JavaRPC操作代码，含服务端和客户端代码； hadoop生态现状、介绍、部署； hadoop2.4.1伪分布式搭建； 分布式文件系统； 复安装过程详细步骤； hdfs笔记；
hdfs-shell：HDFS Shell是一种HDFS操作工具，可与Hadoop DFS中集成的功能一起使用
02-05
HDFS Shell UI（CLI工具） HDFS Shell是可与一起使用的HDFS操作工具目的有3种可能的用例： 运行用户交互式UI Shell，按用户插入命令使用特定的HDFS命令启动Shell 在守护程序模式下运行-使用UNIX域套接字进行通信为...
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
loghouse：即兴使用日志管理解决方案，用于Kubernetes，将数据存储在ClickHouse中并提供Web UI
02-04
更新（20年12月）：请注意，日志库已不再积极开发。 早在2017年（当我们创建此项目时），就没有其他解决方案来获得我们急需的东西（在）。 但是，创建此类工具超出了我们的主要重点，因此，在维护日志库的同时，我们也一直在等待其他项目的出现。 幸运的是，Kubernetes生态系统以惊人的速度增长和发展。 今天，我们很高兴地承认我们可以依靠其他可靠的日志管理解决方案。 在大多数情况下，我们使用 。 （基于和的解决方案（ELK，EFK）可能是要考虑的其他选择。） 这意味着我们不再需要改进日志库。 由于它仍然是开源的，非常欢迎您提供帮助（甚至以成为维护者）。 现成的Kubernetes日志管理解
实验项目 实战 HDFS 实验报告
04-18
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。 二、实验环境 本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。 三、实验内容 1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统命令和系统管理命令。 4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。 5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
weixin_34290390的博客
10-12 505
什么要做日志分析平台？随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。待解决的痛点:1、大量不同种类的日志成为了运维人员的负担，不方便管理;2、单个日志文件巨大，无法使用常用的文本工具分析，检索困难;3、日志分布在多台不...
WebLog->Flume->Hdfs
weixin_41070491的博客
05-07 115
实验环境： 云主机：CentOS 虚拟机：VMware安装的 IP 主机名 服务 其它 云主机 10.0.0.1(不方便透露公网就这个代替) server web服务及日志记录 日志文件：/home/software/tmp/temp.log 虚拟机 192.168.183.101 vm101 监控云主机的日志文件、Flume、Hdfs 操作路径：/home/softwar...
log4j+flume+HDFS实现日志存储
u014033218的专栏
08-06 1590
参考：http://blog.csdn.net/sum__mer/article/details/52474443 376 hadoop dfs -chown -R hadoop:hadoop /flume 377 hdfs dfs -chown -R hadoop:hadoop /flume 378 hdfs dfs -chown -R 777 /flume 37
大数据日志分析系统-hdfs日志存储
u014171282的博客
02-28 5155
先补充spark的博客链接，没在目录显示hdfs简介：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。项目需求：使用hdfs进行客户需要的指定域名时间打包日志 以及原始日志存储进行离线计算遇到的问题：在这一步遇到的一个重要的问题：问题：从kafka中日志直接按域名时间分类存入hdfs时速度不够,主要时数据量太大，当数据量减...
数据采集之Web端导入日志文件到Hadoop HDFS
风起于青萍之末
03-16 2958
前言接上一篇《数据采集之Web端导入DB数据到Hadoop HDFS》，这一篇简单的记录一下如何在Web端控制导入日志文件到HDFS中，主要用到的技术就是Flume了。网上大多数教程都是写的配置文件，但是现在有需求要通过web来动态自动化的进行操作，也就是说要通过Java代码的形式来实现，而不是直接修改服务器上的配置文件。所以只能想想其他其他方式了。环境 OS Debian 8.7 Hadoop 2
Hadoop配置Web端日志
mango_ZZY的博客
10-18 560
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。 配置完成后，可以点开下图的logs。 开启日志聚集功能具体步骤如下： 1.先关闭NodeManager 、ResourceManager和HistoryManager [root@hadoop01 hadoop-2.7.3]# .
HDFS-shell
最新发布
12-15
HDFS-shell是一种用于操作Hadoop分布式文件系统（HDFS）的命令行工具。通过HDFS-shell，用户可以在命令行中执行各种文件和目录操作，如创建、删除、移动、上传和下载文件等。以下是HDFS-shell的一些常用命令： 1. 查看HDFS-shell的所有命令： ```shell hadoop fs ``` 2. 创建目录： ```shell hadoop fs -mkdir /path/to/directory ``` 3. 查看目录内容： ```shell hadoop fs -ls /path/to/directory ``` 4. 上传本地文件到HDFS： ```shell hadoop fs -put /path/to/local/file /path/to/hdfs/directory ``` 5. 下载HDFS文件到本地： ```shell hadoop fs -get /path/to/hdfs/file /path/to/local/directory ``` 6. 删除HDFS文件： ```shell hadoop fs -rm /path/to/hdfs/file ``` 7. 删除HDFS目录： ```shell hadoop fs -rm -r /path/to/hdfs/directory ``` 8. 移动文件或目录： ```shell hadoop fs -mv /path/to/source /path/to/destination ``` 9. 查看文件内容： ```shell hadoop fs -cat /path/to/hdfs/file ``` 以上是HDFS-shell的一些常用命令，你可以根据自己的需求进行使用。如果你想了解更多关于HDFS-shell的命令和用法，可以参考Hadoop官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值