Hadoop
文章平均质量分 94
学习Hadoop生态组件,Flink,Spark等相关知识及使用
江韵
常新常悟,常悟常新
展开
-
Hadoop生产调优之HDFS-核心参数
NameNode 内存生产环境配置,NameNode心跳并发配置,开启回收站配置原创 2022-11-19 22:56:29 · 1443 阅读 · 2 评论 -
MapReduce框架原理
Shuffle 机制的一些过程及规则:Combiner 合并、OutputFormat数据输出、Join应用、数据清洗原创 2022-11-13 22:20:20 · 1754 阅读 · 0 评论 -
MapReduce框架原理
MapReduce 工作流程与 Shuffle 机制,shuffle过程的分区和排序原创 2022-11-13 17:53:30 · 1480 阅读 · 0 评论 -
MapReduce框架原理
MapReduce框架原理之 InputFormat 数据输入(控制),实现控制切片数量与MapTask 并行度原创 2022-11-12 21:12:43 · 1166 阅读 · 0 评论 -
Hadoop 序列化操作
什么是序列化 :序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。原创 2022-11-12 16:47:12 · 1408 阅读 · 0 评论 -
Hadoop - MapReduce
MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于Hadoop 的数据分析应用”的核心框架。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop 集群上。原创 2022-11-12 11:47:24 · 1272 阅读 · 0 评论 -
HDFS API操作
HDFS客户端API基本操作原创 2022-11-10 22:22:10 · 2220 阅读 · 0 评论 -
Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMasterPlease check whether your etc/hadoop/mapred-site.xml contains the below configuration原创 2022-11-10 10:34:21 · 1750 阅读 · 0 评论