2016年01月_梦飞天

04月 03月 02月 01月

原创第9课：IDEA下的spark程序开发

第9课：IDEA下的spark程序开发 1.下载IntelliJ IDEA:http://www.jetbrains.com/idea/选择社区版，要在centos上安装，需要下载.TARGZ，解压。进入IDEA目录下的bin目录下，./idea.sh启动（需要提前安装好java，并设定好JAVA_HOME）windows下需要下载.exe文

2016-01-30 19:55:19 1289

原创第8课：彻底实战详解使用IDE开发Spark程序--集群模式运行

第8课：彻底实战详解使用IDE开发Spark程序--集群模式运行拷贝WordCount.scala生成WordCountCluster.scala。1. 将object WordCount改为object WordCountCluster2. 将conf.setMaster("local")行注释掉。在提交时再配置。3. 将文件源修改为val lines = sc.textFi

2016-01-30 08:41:27 1931

原创第8课：彻底实战详解使用IDE开发Spark程序

第8课：彻底实战详解使用IDE开发Spark程序1.下载安装windows下的scala-2.10.4.2.打开eclipse，新建scala project： WordCount3.修改依赖的scala版本为2.10.x。在Package Explorer中WordCount上点击右键，选择properities->scala Compilier，选择下图所示use peojec

2016-01-24 00:13:43 5838 1

原创 zookeeper能启动但无法选举问题

今天一大早4点多就睡不着了，困绕了我近半年的zookeeper能启动但无法选举问题让我头疼。起床试试吧。经过一天的奋战，试了无数种方法（当然因为zookeeper用途太广了，这半年也多次尝试，却都没有解决）。现象：1.QuorumPeerMain进程可能正常启动。但使用zkServer.sh status查看状态时报：[richard@richard3 zookeeper-3.4.6]

2016-01-16 19:11:28 2593