![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 69
小小愿望啦
无论你对此生的决定为何,一定要真诚地对待自己。
展开
-
Hadoop复习指南
Hadoop知识点概要,帮助回忆HDFS、MapReduce流程和实现细节。原创 2022-02-28 20:17:06 · 1267 阅读 · 0 评论 -
Hadoop3.X环境配置
Hadoop的配置,core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml文件的配置,历史服务器的配置,常用端口号总结。原创 2022-02-27 21:14:02 · 1590 阅读 · 0 评论 -
HMaster进程启动后闪退解决方法
问题描述HBase启动后HMaster进程闪退,查看log文件Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/":xxyw:supergroup:drwxr-xr-x原因分析原因是我的HDFS权限用户只有xxyw,我以root身份启动HBase无原创 2021-11-15 21:47:27 · 1844 阅读 · 0 评论 -
Java语言Spark实现KMeans
写在前面Spark程序多是Scala语言编写,Scala语法简单,但是对于初学者,无法知道变量类型,不清晰实现细节,所以我使用Java语言编写Spark程序,旨在熟悉RDD算子的编程方法。以KMeans算法为例,管中窥豹,了解如何使用RDD算子编写Spark程序。本文先讲解使用到的RDD算子,最后附完整代码。1. map(func)对RDD中的每个记录都使用func进行转换,返回一个新的RDD。例,把从文件中读取的每个String类型的记录(每行一个坐标经纬度)转成List类型。JavaRDD&原创 2021-11-05 12:54:21 · 554 阅读 · 0 评论