hadoop
文章平均质量分 88
邵奈一
全栈工程师、市场洞察者、微信:shaonaiyi888
展开
-
启动HDFS报错:shaonaiyi-mac.local: ERROR: Cannot set priority of namenode process 2914
场景解释:1. 目前我使用Mac安装了伪分布式的HDFS集群,直接按照官网设置的。2. 由于各种原因,我需要重启我的Mac,重启Mac后无法再启动HDFS。原创 2023-11-22 21:00:30 · 337 阅读 · 0 评论 -
使用Eclipse完成WordCount案例(Windows本地运行)
本教程非常简单,主要是将MapReduce程序给跑起来,至于代码是什么意思,为什么要这么写,其实我们这里并不关心。邵奈一原创不易,如转载请标明出处,教育是一生的事业。原创 2022-07-26 23:57:07 · 1673 阅读 · 0 评论 -
Hadoop支持的文件格式之Avro
文章目录0x00 文章内容0x01 行存储与列存储1. 行存储2. 列存储2. Avro与Parquet0x02 编码实现Avro格式的读写1. 编码实现读写Avro文件2. 查看读写Avro文件结果3. 编码实现读写Avro文件到HDFS4. 查看读写Avro文件结果(HDFS)0xFF 总结0x00 文章内容行存储与列存储编码实现Avro格式的读写0x01 行存储与列存储比如现在...原创 2019-12-17 17:44:39 · 1600 阅读 · 0 评论 -
Hadoop支持的文件格式之Text
文章目录0x00 文章内容0x01 Text格式概念1. Text是啥0x02 编码实现1. 写文件完整代码2. 读文件完整代码0x03 校验结果1. 启动集群2. 执行写Text文件格式代码3. 执行读Text文件格式代码0x04 可能出现的问题解决1. 类无法导入0xFF 总结0x00 文章内容Text格式概念编码实现校验结果可能出现的问题解决Hadoop支持的四种常用的文件格...原创 2019-12-17 15:36:52 · 1905 阅读 · 0 评论 -
Hadoop压缩机制及实操
文章目录0x00 文章内容0x01 Hadoop压缩机制1. 压缩的关键2. Hadoop支持的压缩工具0x02 代码实操1. 原理2. 代码及校验0xFF 总结0x00 文章内容Hadoop压缩机制代码实操压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制是一种很方便的发明,尤其是对网络用户,因为它可以减小文件的字节总数,使文件能够通过较慢的互联网连接实现更快传输,此外还...原创 2019-12-17 10:44:08 · 463 阅读 · 0 评论 -
Hadoop的序列化与反序列化实操
文章目录0x00 文章内容0x01 编写代码1. 编写对象类2. 编写调用测试代码0x02 测试结果1. 测试序列化2. 测试反序列化3. 测试修改对象代码0xFF 总结0x00 文章内容编写代码测试结果0x01 编写代码前提:因为需要用到Hadoop,所以需要先引入Hadoop相关的jar包<dependency> <groupId>org.apa...原创 2019-12-13 17:13:24 · 503 阅读 · 0 评论 -
YARN的高可用性HA配置实战
0x00 教程内容0x01 配置YARN1. 备份yarn-site.xml2. 配置HA3. 同步到从节点0x02 校验结果1. 启动YARN2. 校验配置3. 查看ZK变化0x03 恢复回非HA模式0xFF 总结原创 2019-09-06 09:22:03 · 1161 阅读 · 6 评论