大数据入门——两道面试题

最新推荐文章于 2024-08-30 13:29:35 发布
最新推荐文章于 2024-08-30 13:29:35 发布
阅读量39 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyz78911111/article/details/132078134
版权
本文概述了Hadoop2.x和3.x系列中HDFSNameNode、YARN以及相关服务的常用端口号，以及各个版本对应的配置文件清单，帮助用户理解和管理不同版本的Hadoop环境。
摘要由CSDN通过智能技术生成

一、常用端口号

hadoop3.x系列

   HDFS NameNode  内部通常端口：8020/9000/9820

   HDFS NameNode  对用户的查询端口：9870

   Yarn查看任务运行情况的：8088

   历史服务器：19888

hadoop2.x系列

    HDFS NameNode  内部通常端口：8020/9000

   HDFS NameNode  对用户的查询端口：50070

   Yarn查看任务运行情况的：8088

   历史服务器：19888

二、常用的配置文件

3.x系列：core-site.xml         hdfs-site.xml         yarn-site.xml     mapred-site.xml    workers
2.x系列：core-site.xml         hdfs-site.xml         yarn-site.xml     mapred-site.xml    slaves
是我VV啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1小时快速入门大数据 ——从面试题还原学习流程
01-20
1小时快速入门大数据——从面试题还原学习流程 【讲师介绍】： 李白 国内独角兽公司在职大数据工程师，负责商业级BI辅助决策项目，对于Hadoop、Hive、Spark、Kylin、Kudu、Flink等大数据组件及框架有深入研究。 ...
大数据技术之高频面试题8.0.2.pdf
03-22
大数据技术之高频面试题8.0.2.pdf 以下是从给定文件中生成的相关知识点： Linux和Shell * Linux常用高级命令：包括文件管理、进程管理、磁盘管理、网络管理等命令。 * Shell常用工具及写过的脚本：包括sed、awk、...
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
09-04
共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题：36道 Spark面试题：97道...
搜狗——————面试题
03-04
搜狗公司的面试题目涵盖了多个领域，从公司介绍、校招信息...通过深入研究搜狗的面试题总结，求职者不仅能更好地准备面试，还能在面试过程中展现出对应职位的深入了解和热爱，这对于成功加入搜狗公司无疑是极有帮助的。
基于Python的热门旅游景点数据分析系统【python-爬虫-大数据定制】
m0_73272351的博客
08-26 1435
随着信息技术的飞速发展和全球化的不断推进，旅游已成为人们生活中不可或缺的一部分。旅游业的繁荣不仅促进了经济的增长，也丰富了人们的精神文化生活。然而，面对日益增长的旅游需求和复杂的旅游市场环境，如何有效地分析和预测热门旅游景点的人流、消费趋势以及服务质量，成为了旅游管理和规划中的关键问题。Python作为一种强大的编程语言，以其简洁的语法和丰富的库支持，为数据分析提供了强大的工具。基于Python的热门旅游景点数据分析系统，正是在这样的背景下应运而生。
大数据技术概述
weixin_51591328的博客
08-28 829
知识点 其他
窥一斑而知全豹
xuexiaogang的专栏
08-29 1070
由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。
SparkSQL DML语句详解
SunnyRivers
08-27 781
数据操作语句用于添加、更改或删除数据。LOAD。
Java模拟RabbitMQ实现消息队列【17万字总结】（上）
蓝天it（让亿万孩子在蓝天下共享优质教育）
08-27 835
Mq所有代码笔记 ⼀. 消息队列背景知识 曾经我们学习过 阻塞队列 (BlockingQueue) , 我们说, 阻塞队列最⼤的⽤途, 就是⽤来实现 ⽣产者消费者模型. ⽣产者消费者模型, 存在诸多好处, 是后端开发的常⽤编程⽅式. 解耦合 削峰填⾕ 在实际的后端开发中, 尤其是分布式系统⾥, 跨主机之间使⽤⽣产者消费者模型, 也是⾮常普遍的需求. 因此, 我们通常会把阻塞队列, 封装成⼀个独⽴的服务器程序, 并且赋予其更丰富的功能. 这样的程序我们就称为 消息队列 (Message Queue, MQ
Python 全栈系列265 使用ORM、Kafka、Apscheduler实现任务的并发处理
最新发布
yukai08008的博客
08-30 742
这种实现方式还是比较直观的，通过类似DBeaver之类的终端连接上数据库后，我们可以清楚的看到源数据，也可以看到随时间推移，不断的有处理好的数据存在结果数据库。1 ORM可以挂clickhouse， 这样存储所占的空间更小，在后续的提取、统计数据时更快。但需要验证的是clickhouse的where in 效率。2 ORM是可以批量存数的，这个是稍微靠后才发现的。3 FastAPI + APScheduler + Celery + Dash 调度。
Hbase离线迁移
前方的路在刚开始
08-28 249
hadoop distcp -Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx" -i -strategy dynamic -log /hdfs_migration/None/日志路径 -bandwidth 100 -m 100 hdfs://xx.xx.xx.xx:8020/hbase/tableName。2.使用distcp 将hdfs上的hbase数据迁移到另一个【相同路径】的hdfs上。1.关闭2个hbase。
【Elasticsearch】file-beat 将文件数据导入es
qq_44077764的博客
08-28 201
【Elasticsearch】file-beat 将文件数据导入es
基于Spark的云南旅游大数据分析平台
qq_40309403的博客
08-28 670
Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》
Kafka线上问题优化
weixin_43451620的博客
08-24 792
如果为了消息的不重复消费，而把生产端的重试机制关闭，消费端的手动提交改为自动提交，这样反而会出现消息丢失。那么可以直接在防止消息丢失的手段上加上消费消息时的幂等性特保证，便能解决重复消费的问题。消息积压会导致很多问题，比如：磁盘被打满、生产端发消息导致kafka性能过慢，就容易出现服务雪崩，就需要相应的处理手段。消费者订阅相应的topic，消费时轮询消费整个topic中的消息。消息发送者发送消息到相应的topic，并带上消息的发送时间。创建多个topic，每个topic表示延时的间隔。
互联网全景消息(1)之RabbitMq基础入门
jokeMqc的博客
08-28 894
类型名称路由规则Default自动命名的直交换机Direct把消息路由到BindingKey和RoutingKey完全匹配的队列中，RoutingKey==，严格匹配Fanout发送到该交换机的消息都会路由到与该交换机绑定的所有队列上，可以用来做广播Topictopic和direct类似，也是将消息发送到RoutingKey和BindingKey相匹配的队列中，只不过可以模糊匹配Headers根据发送的消息内容中的headers。
zookeeper分布式锁案例
shuai的博客
08-29 539
手写分布式锁案例 Curator框架实现分布式锁案例
Graylog日志丢失解决方案
weixin_38924998的博客
08-26 973
总结graylog优化 主配置文件 /etc/graylog/server/server.conf# graylog服务临时存储目录# graylog服务# 最大保存日志天数# 设置为false表示不允许在查询字符串的开头使用通配符。# 设置为false表示关闭搜索结果中的关键词高亮功能。# 设置为15000表示每次向输出插件发送15000条日志数据。# 设置为5秒表示如果没有新的日志数据到来，每5秒强制刷新一次输出。# 设置为20表示如果输出插件连续失败20次，则触发故障处罚。
电商云账户：空中分账场景的优势探索
AQ1956152445的博客
08-26 483
空中分账，这一基于电商云账户的创新解决方案，正以其独特的优势，为电商行业带来了全新的资金管理模式。灵活性：空中分账支持多级分账、动态分账、条件分账等多种模式，能够根据不同业务场景和参与方的需求灵活设定分账规则和比例，满足多样化的分账需求。透明性：交易收入的全程追踪和记录，为分账提供了详细的明细和报表，增加了分账的透明度和信任度，有助于避免和解决分账过程中的纠纷和争议。安全性：通过虚拟账户技术，空中分账有效隔离了银行账户的变动，降低了资金的风险和损失，同时也保护了参与方的隐私和账户安全。
大数据面试题——spark面试题（一）
06-28
好的，下面是对大数据面试题——spark面试题（一）的回答： 1. 什么是Spark？它与Hadoop有什么区别？ Spark是一个快速、通用、可扩展的大数据处理引擎，它可以在内存中进行数据处理，因此比Hadoop更快。与Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值