bigdata_spark
心随梦动
这个作者很懒,什么都没留下…
展开
-
sparkjob-server
jobserver是最新版master,机器上的spark是1.5.1,本次测试是单机测试,没有用到集群测试。jobserver网址:https://github.com/spark-jobserver/spark-jobserver一、安装jobserver1.安装sbtrpm -ivh https://dl.bintray.com/sbt/rpm/sbt原创 2016-03-09 09:01:39 · 489 阅读 · 0 评论 -
CountOnce(spark)
假设HDFS都每份数据一共存储两份,其中以一块数据有错,那么收集所有块数据的ID,则如下: 5 5 6 6 7 7 8 8 9 在大数据下如何找到9这块数据是错误的。 可以利用异或的数据,求出答案9 异或性质: 1、交换律 a^b=b^a 2、结合律(即(a^b)^c == a^(b^c)) 3、对于任何数x,都原创 2016-03-14 19:25:09 · 487 阅读 · 0 评论