- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark点点滴滴 —— 开发运行scala程序
概述环境：spark 2.0.1 运行模式：spark on yarn我们用scala语言编写的程序如何在spark集群上提交任务并运行呢，我们知道一个java程序spark提交命令如下：spark-submit --class className --name jobName --master yarn-cluster ./xxx-SNAPSHOT.jar其中clasName是入口main函数
2017-05-08 15:50:27
1570
转载 美团推荐算法实践
前言推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。解决信息过载有几种手段：一种是搜索，当用户有了明确的信息需求意图后，将意图转换为几个简短的词或者短语的组合（即qu
2017-05-06 20:54:25
420
原创 scala基础7 —— scala的静态类型（object）
scala语言中是没有static关键字的，也就是说不能将类的方法或者字段声明为static，那如何实现相同的功能呢。scala提供了object关键字来实现同样的功能。
2017-05-06 11:44:35
7050
原创 spark点点滴滴 —— 运行scala任务异常处理
spark版本：2.0.1 最近在用spark提交scala语言写的任务时，提交任务总是失败，异常如下：17/05/05 18:39:23 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirro
2017-05-05 18:38:08
2269
原创 flume ng进击之路 （三） —— 自定义source API开发
概述关于flume ng的简单介绍，可以参考flume ng进击之路 （一）—— 入门，同时flume ng也提供了各种各样的source和sink接口供我们在生成环境中使用，但是在生产环境中，我们常常需要定制的source或者sink来满足我们的要求。好在flume ng提供了开放接口，我们可以根据这些接口，实现自己定制的source或者sink。下面我们来看一下如何实现自定义source框架。实
2017-05-04 12:18:50
7190
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人