Hadoop/Spark
带着天使反上帝 - Kaybee
一些笔记:https://liukay.github.io/KaybeeNotes/#/?id=kaybeenotes
展开
-
使用Scala 读写MySQL 数据给Spark任务执行
初学Spark,需要从数据库读取数据给Spark执行,然后将执行结果返回给数据库。由于Spark是基于 Scala 开发的,刚开始完全摸不到头脑,本来是用java将数据库数据写到一个文件,然后spark去读这个文件然后执行,又突然想到,既然scala写的spark程序,何不用scala来直接读取数据库给spark任务执行,然后返回给数据库就行了啊,还绕那么多弯干嘛。。虽然不会写Scala,但是会写原创 2017-12-17 11:50:21 · 1784 阅读 · 0 评论 -
Sqoop java接口将MySQL数据导入导出HDFS及BUG
先是试了一下sqoop2的接口,不知道为什么总是报错,搜了半天没找到解决办法于是又用回了 Sqoop 1.4.6 版本,也有点小bug,后面再说,记录一下。 Sqoop 2 Demo: HDFS 是远程集群上,MySQL 是本地,没有成功,可能是环境问题 package com.kay.transfer; import org.apache.sqoop.client.SqoopClient; i原创 2017-12-17 18:31:33 · 869 阅读 · 0 评论