![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop与Spark
文章平均质量分 93
qq_39662852
这个作者很懒,什么都没留下…
展开
-
Mac OS X下Hadoop、Spark单机版环境搭建
环境搭建 Mac下搭建Hadoop、spark相对比较简单,spark依赖Hadoop的HDFS和YARN计算框架,所以要想搭建Spark,先要搭建好Hadoop环境。原创 2017-07-29 22:26:09 · 2356 阅读 · 1 评论 -
Mac下Maven 的安装
1、 完成 JDK 的安装, JDK的安装比较简单,可以参照教程其他教程,安装好之后查看下JDK的安装位置: 用命令: /usr/libexec/java_home -V 2:箭头指向的位置就是JDK的安装位置,然后,设置 JAVA_HOME 环境变量。 用命令:vim ~/.bash_profile 进入之后,切换到英文输入状态下,输入 i ,即切换到输入状态下,箭头指向方...原创 2018-04-25 22:22:25 · 143 阅读 · 0 评论 -
Windows下hadoop配置
第一步:安装JDK,点击一下链接下载JDK,并安装。 http://www.oracle.com/technetwork/java/javase/downloads/index.html 在安装过程中,第一小步安装jdk,第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。(不能都安装在java文件夹的根目录下,jdk和jre安装在同一文件夹会出错) 第二步:配置...原创 2018-06-06 17:39:38 · 4166 阅读 · 1 评论 -
Windows10下Hadoop创建文件报错hadoop permission denied user=dr.who access=write inode= /
Windows10下Hadoop创建文件报错标题http://localhost:9870 http://localhost:9870 在文件管理页面,新建文件夹的时候一直报错。 按照网上的方法改了hdfs-site.xml 里面加了权限设置 也尝试用了其他方法,都不行。后来问了大佬才发现是 hdfs上面所属的组和现在用来创建文件的用户是否一致,和上面文件配置也基本没关系。 解决办法 直接切换...原创 2019-08-20 19:21:13 · 2500 阅读 · 0 评论 -
华为云集群部署踩坑指南。
玩数据就要天天和服务器各种集群打交道,对于Linux一窍不通的我真的,我太难了。之前的测试用的集群挂了之后要切换到其他集群上,公司买的华为云,然后就开始了新的踩坑之路。 1 提申请 首先我们用任何环境都要去提申请了啦,提了申请才会分配资源,账号之类的。 2 hadoop集群使用指南 1)客户端IP 用户名 密码,在Xshell客户端里打开一个session进行连接。 连接好之后,在客户端...原创 2019-09-10 11:50:10 · 1295 阅读 · 0 评论