- 博客(5)
- 收藏
- 关注
原创 flume的搭建与部署
1.什么是flumeFlume是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具,是Hadoop的相关组件之一。其传输数据的基本单位为:Event主要分为:Source、Sink、Channel这三个部分(1)、Source:从数据源接收数据;(2)、Sink:传递数据给目的地;(3)、Channel:连接Source和Sink的管道,数据缓存2.flume的安装Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了。
2023-10-15 16:16:23
311
1
原创 有关Hadoop集群2.0
rm -d 直接把想删除的目录的硬链接数据删除成0,删除该目录。mv -u 当源文件比目标文件新或目标文件不存在时,才执行移动操作。mv -b 当目标文件或目录存在时,在执行覆盖前,会为其创建一个备份。mv -f 若目标文件与源文件名字相同,不会询问,直接覆盖源文件。cp -b 覆盖已存在的文件目标前将目标文件备份。mv -i 若目标文件与源文件名字相同,会询问是否覆盖源文件。
2023-10-05 18:58:31
50
原创 有关Hadoop集群
含义:是Hadoop中一个用于处理和分析大型数据集的变成模型和软件框架,它将作业分解成多个并行的Map和Reduce任务,并自动处理作业的并行化和故障恢复。Hadoop集群的优点包括高可具有很高的抗故障能力,因为每个数据块都复制到其他节点上,以确保在单个节点发生故障时不会丢失数据。靠性,高可扩展性和成本效益,它可以处理大规模数据集,并提供了强大的分布式计算框架,用于分析和处理这些数据集。常用命令:hdfs是指Hadoop hdfs系统的命令,其常用命令包括:1.ls命令;3.mkdir命令;
2023-10-03 22:38:47
71
原创 Hadoop集群搭建
2.准备好搭建环境:安装JAVA,一定要确保所有的计算机都安装好了适当版本的java,因为hadoop是使用Java开发的,依赖于Java环境,因此搭建虚拟机需要安装jdk,但是虚拟机自带jdk非我们想要的版本,所以要将其删除下载新的适配版本的jdk。配置Hadoop的配置文件:1.vim core-site.xml 设置Hadoop的通用配置。查看Hadoop是否安装成功:hadoop version。1.下载Hadoop:在Hadoop官网下载需要版本的hadoop,并且解压到相应的文件夹中。
2023-09-24 15:38:01
59
1
原创 数据采集与处理
1.首先安装requests库,安装完成后在相应得到文件中导入requests包。注释:'wb'表示以二进制写方式打开。4.设置图片的名称和要写入的格式。3.使用get方法请求加载图片。2.获取图片的url地址。运行结果,点击网址进入即可。
2023-09-17 15:22:06
1157
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人