【大数据清洗和预处理】1.7Hadoop集群测试（学习笔记）

最新推荐文章于 2024-10-10 10:24:07 发布
最新推荐文章于 2024-10-10 10:24:07 发布
阅读量147 收藏 1
点赞数
分类专栏： 大数据清洗和预处理 文章标签： hadoop 大数据 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63745352/article/details/127762447
版权

查看HDFS集群状态
在浏览器里访问http://master:9870


不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870


修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射


此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常。

 

 


单击导航条上的【Datanodes】，查看数据节点信息


点开【Utilities】下拉菜单，选择【Browse the file system】 


在HDFS上创建一个目录Big

最低0.47元/天 解锁文章
闷得儿蜜的啊秋呀
关注
专栏目录
Hadoop集群测试
ZYF2190003497的博客
11-04 681
hadoop集群
大数据学习笔记（一）——大数据概述
stepondust 的课堂
01-21 4902
第一章 大数据概述 1.1 大数据时代 1.1.1 信息科技为大数据时代提供技术支持 ①存储设备容量不断増加——解决了信息存储的问题 ②CPU处理能力大幅提升——解决了信息处理的问题 ③网络带宽不断増加——解决了信息传输的问题 1.1.2 数据产生方式的变革促成大数据时代的来临 数据是我们通过观察、实验或计算得出的结果。数据和信息是两个不同的概念。信息是较为 宏观的概念，它由数据的有序排列组合而成...
Hadoop cluster测试过程
数据之路-忆梦前程
07-12 1781
接上篇http://blog.csdn.net/caiwenguang1992/article/details/9289401 启动Hadoop cluster 在Hadoop1上 [root@Hadoop1 root]# start-dfs.sh [root@Hadoop1 root]# start-mapred.sh 查看HDFS http://188.188.3.2
数据清洗hadoop
weixin_40608634的博客
08-21 25
我整理的一些关于【HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/xltfov数据清洗与Hadoop：处理大数据的基础实践 引言 在大数据时代，信息的快速增长使得数据处理变得愈发重要。其中，数据清洗（Data Cleaning）是数据预处理的重要步骤，它旨在去除错误、重...
hadoop单机版安装及基本功能演示
weixin_30617737的博客
12-21 112
本文所使用的Linux发行版本为：CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html，下载jd...
【Hibench 】完成 HDP-Spark 性能测试
康师傅没有眼泪
08-19 1887
HiBench是Intel推出的一个大数据基准测试工具，可以帮助评估不同的大数据框架在速度、吞吐量和系统资源利用方面评估不同的大数据框架的性能表现。它包含一组Hadoop、Spark和流式WorkLoads，包括Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、Nutch索引、Bayes、Kmeans、NWeight和增强型DFSIO等。在进行Hibench的时候可以指定Spark和Scala的版本，通过如下参数指定。
HADOOP集群大数据词频统计及设计比较（完整教程）
weixin_64420247的博客
08-29 8339
wordcount加了combiner的代码后，运行效率提高了。
大数据、云计算该如何学习？
yyyyyyyyyooi的博客
06-06 9362
大数据之Linux+大数据开发篇 【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员即可免费领取 阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spar...
《ClickHouse原理解析与应用实践》读书笔记（1）
Aiky哇
06-24 865
开始学习《ClickHouse原理解析与应用实践》，写博客作读书笔记。本文全部内容都来自于书中内容，个人提炼。
《大数据处理平台》（宋杰著）读书笔记
weixin_50211648的博客
06-22 501
《大数据处理平台》一书从数据查询、数据分析和迭代计算平台三个方面对大数据处理平台的体系结构、基本原理、主流技术、国内外研究进展和成果进行了全面深入的阐述，最后还对大数据实时处理平台的架构和核心技术进行了展望。企业技术人员可参考本书选择合适的技术构建大数据处理平台或对现有平台进行优化；高校院所的科研人员可参考本书了解大数据管理的基本原理和现有研究成果；学生读者可通过学习本书全面了解大数据处理平台，本书也适用于对大数据技术拥有浓厚兴趣的读者。
hadoop搭建
weixin_55152875的博客
12-19 1145
记录一下做分布式作业的过程。
hadoop-mapreduce-examples 官方demo源码
03-15
hadoop-mapreduce-examples 官方demo源码 hadoop-mapreduce-examples-2.7.7-sources
Hadoop分布式文件系统HDFS原理以及操作(二)
zy10151的博客
04-21 435
实验案例：完全分布式环境-验证DataNode上存储的文件分块信息 1.将JDK包从本地文件系统上传至HDFS分布式文件系统 （1）查看本地文件下jdk文件大小189756259 （2）start-dfs.sh启动集群 （3） （4）查看是否上传成功，逻辑上是原文件大小，物理上已经分块 2.进入DataNode存放文件分块的的Block目录，观察目前HDFS集群中2个DataNode上的JDK文件分块信息 2号DataNode： 两块加起来大小为jdk总大小。。。。 ...
Hadoop中命令检查hdfs的文件是否存在
qq_43688472的博客
08-01 2783
示例中，使用hadoop fs -test -e命令检查/user/hadoop/myfile.txt文件是否存在。接着，通过检查命令的返回值来确定文件的存在与否。如果文件存在，命令返回0；如果文件不存在，命令返回非0值。其中，是要检查的HDFS文件的路径。
Hadoop上路_05-HDFS中的文件操作
小飞侠的博客
02-16 144
目录[-] 1.Hadoop操作： 1）查看Hadoop版本： 2）自动开启Hadoop： 3）手动开启Hadoop： 2.HDFS操作： 1）查看HDFS上的文件： 2）向HDFS上传文件： 3）从HDFS下载文件： 4）删除HDFS上的文件： 5）HDFS的更多命令： 3.MapReduce示例操作-统计字符 ...
HDFS读写测试
南风知我意
06-09 1814
2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能 （1）顺序读测试 结果显示，磁盘的总体顺序读速度为360MiB/s。 结果显示，磁盘的总体顺序写速度为341MiB/s。 结果显示，磁盘的总体随机写速度为309MiB/s。 （4）混合随机读写： 结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个 0）写测试底层原理 2）注意：如果测试过程中，出现异常 （1）可以在yarn-sit
Hadoop性能测试工具
qq_41051923的博客
10-15 1889
一、磁盘IO测试 1. 测试读速度 方式一：使用hdparm测试 yum install -y hdparm #下载hdparm hdparm -tT --direct /dev/sda1 #测试 hdparm参数： -t 评估硬盘的读取效率(不经过磁盘cache)。 -T 平估硬盘快取的读取效率。 方式二：使用time+dd测试 time dd if=/dev/sda1 of=/dev/null bs=8k 因为/dev/sdb1是一个物理分区，对它的读取会产生IO，/dev/nu
最新版hadoop-3.4.0集群安装和配置（目前论坛的都是老古董了，看我的准没错！！！）这里以三台服务器为例
最新发布
我不会敲代码的博客
10-10 1786
最新版hadoop3.4.0集群搭建
Hadoop3.4.0 完全分布式集群 运行环境搭建 VMware Workstation 虚拟机 大数据系列 一
tonyhi6的博客
05-13 1679
Hadoop3.4.0 完全分布式集群 运行环境搭建 VMware Workstation 虚拟机
"大数据应用开发实践：Hadoop集群部署与配置实践详解
通过安装虚拟机、JDK和Hadoop，配置集群的核心、HDFS、YARN和MapReduce文件，以及将配置信息分发到集群上，我们可以为后续的Hadoop应用开发提供一个可用的环境。完成这些准备工作后，我们可以开始进行Hadoop的常用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值