- 博客(5)
- 收藏
- 关注
RSS订阅原创 scala 开发spark程序
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典...
2014-08-24 10:56:51
153
原创 Spark1.0.0 on YARN 模式部署
1：概述 说Spark on YARN的部署，还不如说是Spark应用程序在YARN环境中的运行。按照Spark应用程序中的driver （SparkContext）分布方式不同，Spark on YARN有两种模式： 一种是yarn-client模式，在这种模式下，Spark driver在客户机上运行，然后向YARN申请运行exeutor以运行Task。 一种是y...
2014-08-24 10:55:45
50
原创 Spark1.0.0 的监控方式
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控： Spark应用程序的WebUI或者Spark Standalone的集群监控 指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控 辅助监控工具 1：WebUI Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的404...
2014-08-24 10:54:41
60
原创 IE下location.href 获取referer的值
最近，公司网站需要统计用户都是从哪些页面进入到注册页面的数据。开始，仅仅简单的通过在服务器端$ _SERVER['HTTP_REFERER']（php）来获取。但是，发现有好多注册用户没有referer值，后来查了一下在IE下采用window.location.href方式跳转的话，referer值为空。而在标签<a></a>里面的跳转的话referer就不会空。所以...
2014-08-24 10:52:33
198
原创 jvm调优--查找最耗CPU的代码
1.场景 今天在公司用mvn编译的时候，出现机器卡死的情况，让我深深的反省了一下。 [java] view plaincopyprint? 01.../apache-maven-3.0.5/bin/mvn -Dhadoop.version=0.20.2-cdh3u5 -DskipTests clean package ../apache-maven-3.0.5/bin/mvn...
2014-08-24 10:50:28
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人