- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 spark-jdbc-oracle（scala）
jdbc 读取oracle数据方式一 val prop = new java.util.Properties prop.setProperty("user", stateConf.getString(Constant.JdbcUserName)) prop.setProperty("password", stateConf.getString(Constant.JdbcPasswd)
2017-11-29 13:14:03
2023
转载 spark-dataset
一个强类型的对象集合，可以并行地进行转换。 *使用函数或关系操作。 不同于[ [RDD] ]在以下方面： *在内部，由催化剂逻辑计划表示，数据存储。 *以编码形式。此表示允许额外的逻辑操作和 *使许多操作（排序，洗牌，等）进行反序列化到无对象。 *创建一个]需要一个显式的[可以][数据集 *用于序列化的对象转换为二进制格式。 编码器也能够映射 *给定对象到星火SQL类型系统的模式。
2017-11-03 07:29:52
378
转载 storm-sparkstreaming-对比
Storm 纯实时，来一条数据，处理一条数据 毫秒级 吞吐量低 事务机制支持完善 ZooKeeper，Acker，非常强 支持动态调整并行度1、需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进行金融交易和分析2、对于实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，一条也不能多，一条也不能少，也可以考虑使用Storm3、若还需要针对高峰低
2017-11-02 10:56:07
324
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人