- 博客(6)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 elasticsearch-sql 增加 jdbc支持
增加该功能,纯粹是在关issue的时候看到了第一个issue,参看 Is there any plan for JDBC drivers?。大家讨论的时候,提供了两个选择,一个是apache calcite, 另外一个是利用 alibaba 的jdbc 连接池 druid。最后我选择了使用druid 来完成。为啥不用第一个的原因如下:I have t...
2016-08-31 11:45:00 1308 1
原创 Elasticsearch-SQL
Elasticsearch-SQLElasticsearch-SQL fork from https://github.com/NLPchina/elasticsearch-sqlvisit interactive web to feel.featuresAll features following require ES with groovy s...
2016-08-19 23:29:00 459 6
原创 Spark 2.0 Structured Streaming 分析
前言Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结果映射为另外一张表,完全以结构化的方式去操作流式数据,复用了其对象的Catalyst引擎。Spark 2.0 之前作为Spark平台的流式实现,Spark Streaming 是有...
2016-08-14 15:52:00 285 10
原创 如何做Spark 版本兼容
我们知道Spark2.0 ,Spark 1.6还有Spark 1.5 三者之间版本是不兼容的,尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。我们介绍的兼容相关一些技巧,主要包括动态编译以及反射等方式,也用到了Scala的一些语言特性。案例在Spark 1.6 时,大部分机器学习相关的类使用的向量还是...
2016-08-05 21:32:00 968
原创 用线性回归无编码实现文章浏览数预测
继 无编码利用协同算法实现个性化推荐,我纯粹使用SQL和配置实现了一个更为复杂一些的,计算文章词汇的tf/idf值,将浏览数作为预测值,使用线性回归算法进行模型训练的示例。帮助大家更好的了解StreamingPro对算法的优秀支持。这篇文章的示例将会跑在Spark 2.0 上了。为了方便大家体验,我已经将Spark 安装包,StreamignPro,以及分...
2016-08-05 20:14:00 224
原创 StreamingPro使用教程
准备工作下载Spark 1.6.2下载StreamingPro我们假设你下载的StreamingPro包在/tmp目录下。复制如下模板{ "esToCsv": { "desc": "测试", "strategy": "streaming.core.strategy.SparkStreamingStrategy", ...
2016-08-02 10:20:00 702 5
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人