![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
一颗小草333
我是一棵小草
展开
-
记录一次spark本地运行时的org.apache.hadoop.io.nativeio.NativeIO问题
最近换了新的电脑,好久不用的win10系统,安装了maven,jdk,idea之后,从git上下载了代码库,希望可以本地调试运行spark代码,安装好系统环境后,代码可以运行起来了,代码就是很简单的将系统字符存储到当前文件中,代码如下: def main(args :Array[String]) :Unit = { val sparkConf = new SparkConf().setAppName("ArgsDemo") val sparkSession = SparkSe...原创 2020-06-19 14:34:10 · 304 阅读 · 0 评论 -
MacOS平台上编译 hadoop 3.1.2 源码 cmake no matching function for call to 'getgrouplist'问题解决
在编码过程中遇到的问题总结: 问题1 :cmake 函数库变更引起的问题: 问题描述: [WARNING] /Users/wyx/Downloads/hadoop-rel-release-3.1.1/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/src/main/nativ...原创 2019-08-24 17:08:05 · 617 阅读 · 0 评论 -
mac 环境下 hadoop与spark环境搭建
环境搭建 想必之前搭建Hadoop环境的Windows系统的相对繁琐步骤,Mac下显得简单不少。 虽然我们需要搭建的是Spark环境,但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架,当然还有类似软件包管理软件。 安装前必备 操作系统:Mac OS X JDK:1.8.0_192 命令终端:iTerm2(Mac自带的命令终端也一样) 软件包管理工具:brew 安装Hado...原创 2019-08-22 18:01:05 · 244 阅读 · 0 评论