spark
文章平均质量分 73
warrior_zhang
这个作者很懒,什么都没留下…
展开
-
搭建spark cluster过程中 scp传送文件 文件权限管理 磁盘及文件使用情况
1. scp就是ssh-copy,我是这么理解的。。。 用于不同系统之间拷贝文件或者目录 指令格式 scp [o原创 2016-01-12 13:01:59 · 975 阅读 · 0 评论 -
搭建spark cluster过程中遇到的网络问题
1. 虚拟机之间ping不通 虚拟机的网络模式设置成桥接模式,网卡选择eth0,而且要为虚拟机设置不同的ip地址; 如果虚原创 2016-01-12 13:01:56 · 371 阅读 · 0 评论 -
setup cluster -- configure hadoop
after above two step now we can configure our hadoopat first we must原创 2016-01-12 13:01:54 · 382 阅读 · 0 评论 -
setup cluster -- ssh to each other with no key ssh免密钥登陆配置
to convenient for after we need to do this.first set the fix ip addr原创 2016-01-12 13:01:51 · 338 阅读 · 0 评论 -
set up spark cluster -- create VM
I want to set up a cluster at my computer. the first prepare machine,原创 2016-01-12 13:01:49 · 334 阅读 · 0 评论 -
spark standalone mode
1. Installing Spark Standalone to a Cluster To install Spark Standalone mode, you simply place a compiled version of Spark on each node on the cluster.to visit the below blog:http://blog.chinaunix.net/uid-29454152-id-5148300.htmlhttp://blog.chinaun原创 2016-01-12 13:01:40 · 440 阅读 · 0 评论 -
Spark 中算子功能与分类介绍
最近看了一些SPARK资料,还没有系统性的整理,这里先归纳一下spark中算子的总结。如有什么错误或者不妥之处,希望大神们指出,相互交流共同进步!!哈哈哈 算子的定义:RDD中定义的函数,可以对RDD中的数据进行转换和操作。 下面根据算子类型的分类进行总结:原创 2016-01-12 13:01:37 · 4363 阅读 · 0 评论 -
spark RDD
1. SPARK 中 RDD 的基本操作流程 RDD创建->RDD转换->RDD控制->RDD运行。 RDD创建:RDD的初始创建是由SparkContent来负责的,有内存或者外存文件系统作为数据源 RDD转换:讲一个RDD通过一定的操作转换为另一种RDD RDD控制:对RDD进行持久化,令RDD保存在磁盘或者内存中,以便后续重复使用 RDD运行原创 2016-01-12 13:01:32 · 520 阅读 · 0 评论 -
搭建spark cluster网络设置,ipv6关闭,ipv4设置,DNS设置
搭建spark cluster网络设置,ipv6关闭,ipv4设置,DNS设置1. 虚拟机之间ping不通2. 网卡重启3. 关闭ipv64. ipv4 地址设置原创 2015-12-06 21:40:41 · 2347 阅读 · 0 评论