大数据基础操作
文章平均质量分 93
Cisyamr
这个作者很懒,什么都没留下…
展开
-
大数据上课笔记之初识MapReduce
(5)Mapper组件会将每行内容,作为输入value,通过map()传给程序员,重点是获取输入value。(6)Mapper的第一个泛型类型对应的是输入key的类型,第二个泛型类型对应的输入value。(4)Mapper组件将每行的行首偏移量,作为输入key,通过map()传给程序员。(9)通过context进行结果的输出,以输出key和输出value的形式来输出。(10)输出key是由第三个泛型类型决定,输出value是由第四个泛型类型决定。(8)map()被调用几次,取决于文件的行数。原创 2022-12-15 20:53:41 · 281 阅读 · 0 评论 -
大数据上课笔记之HDFS的Shell操作
Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作,Shell分为图形界面Shell和命令行式Shell。文件系统(FS)Shell包含了各种的类Shell的命令,可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。原创 2022-11-25 21:16:19 · 1356 阅读 · 0 评论 -
大数据上课笔记之HDFS的了解
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。原创 2022-11-18 08:59:10 · 345 阅读 · 0 评论 -
大数据上课笔记之Hadoop集群的启动和测试
Hadoop集群正常启动后,它默认开放了两个端口9870和8088,分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看,只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。原创 2022-11-09 20:16:20 · 3226 阅读 · 0 评论 -
大数据上课笔记之Hadoop完全分布模式的安装配置—下
adoop是Apache基金会面向全球开源的产品之一,任何用户都可以从Apache Hadoop官网下载使用。本次学习Hadoop,我们使用目前的最新版 -hadoop-3.3.4原创 2022-10-27 13:29:51 · 278 阅读 · 0 评论 -
大数据上课笔记之Hadoop完全分布模式的安装配置——上
在完全分布式模式下,Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统原创 2022-10-20 20:42:03 · 923 阅读 · 0 评论 -
大数据上课笔记 1.3 Linux目录操作
Linux是一款安全性十分良好的操作系统。不仅有用户层面的安全性,还有目录操作层面的安全性,本次课我们要学习Linux的目录权限操作:读权限、写权限和执行权限。另外,常用目录操作也应该掌握,对于我们学习Hadoop奠定一个良好的Linux操作基础。原创 2022-10-13 22:00:27 · 743 阅读 · 0 评论