Hadoop
洞之蝉
真正想做的人总是什么也不说,扭头就去做了。
展开
-
FileNotFoundError: [Errno 2] No such file or directory spark/./bin/spark-submit
原因是pycharm的spark路径没有配对由于我用的是anaconda,后来改成对应路径即可原创 2019-02-14 10:12:20 · 3959 阅读 · 0 评论 -
spark学习笔记[一] —— RDD编程基础
一 RDD1. 可以通过2种方式建立RDD:读取外部数据集在驱动程序里分发驱动器程序中的对象集合如List或者set2. RDD支持两种类型的操作:转化和行动操作转化操作: 如filter(),会生成一个新的RDD行动操作: 会对RDD计算出一个结果,并把结果返回到驱动程序中RDD.persist() 会将数据的一部分读入内存,并反复查询3. spark程序的工作方式从外部数据创建出输入RDD使用...原创 2018-05-03 15:22:19 · 263 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied:
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/HDFS客户端的权限错误:Permission denied搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文...转载 2018-03-08 10:56:56 · 2315 阅读 · 0 评论 -
搭建mac+Hadoop+maven开发环境
1.创建maven工程2.新建input文件夹,和src同级3.配置configure application4.启动电脑上的hadoop注意:网上有些代码不能运行,可能是hadoop的包版本不一样,api有更新导致的第一步:新建input文件夹,和src同级第二步:.配置configure application,参数为输入、输出文件夹第三步:启动电脑上的hadoopcd /usr/loca...原创 2018-03-12 13:02:01 · 531 阅读 · 0 评论 -
转:MAC 下通过 VirtualBox 下安装 Ubuntu 集群
FlySheep_ly 关注2017.05.17 19:35* 字数 952 阅读 113评论 3喜欢 1一、准备工作1. VirtualBox 版本: 5.1.22 r115126 (Qt5.6.2) 2. Ubuntu 版本:ubuntu-16.04.2-desktop-amd64二、实现目标1. 目标一:从主机可以通过静态IP访问到每一个虚拟机,从虚拟机中可以访问主机(主机也有一个固定的...转载 2018-05-31 17:01:28 · 575 阅读 · 0 评论