- 博客(9)
- 资源 (25)
- 收藏
- 关注
RSS订阅原创 Calcite 使用原生的RDD 处理Spark
1 通过配置 ： properties.setProperty("spark", "true"); //可以执行调用内部的函数2 需要修改 Calcite-spark 中相关的文件/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreem...
2018-06-28 16:13:40
2647
2
原创 基于Java的SQL解析工具的比较与学习
1、JSqlParsergtihub 地址: https://github.com/JSQLParser/JSqlParser.git使用方法：/** * * @Package: com.yonyou.splice * @author: caozq * @date: 2018年6月26日 下午12:03:52 */package com.yonyou.splice;...
2018-06-28 16:08:06
12581
原创 Maven 用到的技巧
1 依赖本地Jar 最好放到目录lib 下面<dependency> <groupId>com.yonyou.dataworks</groupId> <artifactId>connection</artifactId> <scope>system</scope> <ver
2018-06-28 15:43:30
237
原创 Calcite 将 json 转化为 ResultSet
开始测试：import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import org.apache.calcite.jdbc.CalciteConnection;i...
2018-06-28 15:38:18
1689
转载 spark 学习资料
以下为该系列文章列表：1.Spark及其生态圈简介 下载2.Spark编译与部署（上）--基础环境搭建 下载2.Spark编译与部署（中）--Hadoop编译安装 下载2.Spark编译与部署（下）--Spark编译安装 下载3.Spark编程模型（上）--编程模型及SparkShell实战 下载3.Spark编程模型（下）--IDEA搭建及实战 下载4.Spark运行架构 下载5....
2018-06-14 19:43:50
545
原创 calcite 连接Mysql 数据库 demo
Calcite是一种动态数据管理系统，它具有标准SQL、连接不同前端和后端、可定制的逻辑规划器、物化视图、多维数据分析和流查询等诸多能力，使其成为大数据领域中非常有吸引力的查询引擎.看了好多Github 都没有一些合适的例子，自己花了一段时间整理的，希望以后会用到，代码中有很多不足的地方，就不多说，直接在本地做了一个DEMOBaseConnection: 定义接口，所有jdbc 都需要实现这个方法...
2018-06-14 19:43:01
3835
8
原创 spark 连接Mysql 的例子
直接上代码：object JdbcOperation { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test").setMaster("local") val sc = new SparkContext(conf) sc.setLogLevel("WAR...
2018-06-14 19:23:30
1109
原创 Spark demo java
public class SparkJava { public static class Person implements Serializable { private static final long serialVersionUID = -6259413972682177507L; private String name; private int age; public Perso...
2018-06-14 19:18:03
3942
原创 spark 三种创建 数据集的方法，及测试（Scala代码）
1 通过创建RDD执行查询/** * * 优点: * * 编译时类型安全 * 编译时就能检查出类型错误 * 面向对象的编程风格 * 直接通过类名点的方式来操作数据 * 缺点: * * 序列化和反序列化的性能开销 * 无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化. * GC的性能开销 * 频繁的创建和销毁对象, 势...
2018-06-14 19:16:52
3841
Atlas集成.docx
2019-07-11
边缘检测英语资料，毕业设计有用的
2011-05-27
基于jsp的网上购物系统
2011-05-23
全面讲述了应用MFC进行Visual C++编程
2011-05-22
VC++6.0的实时曲线图表程序
2011-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人