- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark集群HA搭建
spark集群的HA图：[img]http://dl2.iteye.com/upload/attachment/0114/9089/eb35dece-fea3-3f5b-b200-07fa6406c463.png[/img]搭建spark的HA需要安装zookeeper集群，下面简单说明一下zookeeper集群的安装方法；我是将master1,worker1,worker2上...
2016-01-31 08:50:27
366
原创 Spark集群中WordCount运行原理
以数据流动的视角解释一下wordcount运行的原理[code="java"]package com.imf.spark.wordcountimport org.apache.spark.{SparkContext, SparkConf}/** * Created by vivi on 2016/1/27. */object WordCount {d...
2016-01-31 07:05:23
267
原创 eclipse开发spark程序配置在集群上运行
这篇bolg讲一下，IDE开发的spark程序如何提交到集群上运行。首先保证你的集群是运行成功的，集群搭建可以参考[url]http://kevin12.iteye.com/blog/2273556[/url]开发集群测试的spark wordcount程序；[b]1.hdfs数据准备.[/b]先将README.md文件上传到hdfs上的/library/wordcount/i...
2016-01-27 08:08:36
744
原创 eclipse开发spark程序配置本地运行
今天简单讲一下在local模式下用eclipse开发一个简单的spark应用程序，并在本地运行测试。1.下载最新版的scala for eclipse版本，选择windows 64位，下载网址：[url]http://scala-ide.org/download/sdk.html[/url][img]http://dl2.iteye.com/upload/attachment/0114/8...
2016-01-27 07:58:52
1216
原创 spark1.6.0搭建（基于hadoop2.6.0分布式）
本文是基于hadoop2.6.0的分布式环境搭建spark1.6.0的分布式集群。hadoop2.6.0分布式集群可参考：[url]http://kevin12.iteye.com/blog/2273532[/url]1.解压spark的包，tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz，并将其移到/usr/local/spark目录下面；在~/.bas...
2016-01-24 10:11:38
269
原创 hadoop2.6.0集群的搭建方法
[b]1.集群环境的安装[/b]1.1工具软件版本说明（软件尽量去官网下载）：VMware Workstation :10.0.0 build-1295980Ubuntn:Ubuntn15.10JDK：jdk-8u60-linux-x64.tar.gz Hadoop:hadoop-2.6.0.tar.gzSecureCRT：Version 6.2.3 (build 313)...
2016-01-23 22:37:09
1156
原创 ubuntu 15.10虚拟机设置静态ip
1.先查看本机的VMnet8分配的网络如下:[img]http://dl2.iteye.com/upload/attachment/0114/7453/a195a635-ed3a-391b-97f7-e4798aa06359.png[/img]2.虚拟机设置选中NAT模式：[img]http://dl2.iteye.com/upload/attachment/0114/7455/3a1...
2016-01-23 15:07:39
128
原创 Ubuntu15.10设置用root账号登录
1.打开终端2.输入sudo vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf或输入sudo vim /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf（vim需安装）[Seat:*]user-session=ubuntugreeter-show-manual-login=tru...
2016-01-18 00:11:35
177
原创 VMware中安装了ubuntu全屏设置
在VMware虚拟机下的linux无法全屏的问题：在VMware虚拟机下的linux无法全屏的问题：1.点击“view”——然后将Autofit window这个选项勾选。（一般版本高的VMware虚拟机都会默认该设置） [color=red]这个一定不要忘了，否则就不能全屏。[/color]2.该步骤是关键，具体的操作为：点击“VM”——选中“install vmware-tool...
2016-01-18 00:09:20
345
原创 Could not set the project description for 'hotelseqbid.ws' because the project d
用eclipse 对项目进行Maven>Update Project...是报如下错误：Could not set the project description for 'hotelseqbid.ws' because the project description file (.project) is out of sync with the file system.先按这里的解决...
2016-01-13 17:21:13
2123
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人