apache hadoop
旭旭_哥
码农一枚
展开
-
java批量生成sqoop任务
用java写了类,用于批量生成sqoop脚本任务,sqoop一行行的写不得不说很累,现在有这东西,看看吧: package data.clear; import java.io.File; import java.io.IOException; import java.util.Date; import java.util.List; import org.apache.commons原创 2016-01-04 14:02:07 · 1436 阅读 · 0 评论 -
一些sqoop脚本任务
要把数据从Gp签到hadoop,记录一些Sqoop的脚本任务: echo "clickdatas_1_prt_p201502 clickdatas 201502" sqoop import --connect jdbc:postgresql://10.1.2.130:5432/xmo_dw --table clickdatas_1_prt_p201502 --fields-termina原创 2016-01-04 17:21:20 · 1360 阅读 · 0 评论 -
利用Flink stream从kafka中写数据到mysql
眼看到年底了,许久也没更新博客,最近也比较清闲,顺带学习了下大数据框架Flink, 这框架跟Spark类似,上手比较容易,使用的话两三天就可以开始写代码,在有些方面比spark要强,比如说流处理,下面就用flink中的Stream从kafka中读取数据写入到mysql中,废话不多说,具体上代码吧: 首先看配置文件: #mysql mysql.driver=com.mysql.jdbc.Dri原创 2016-11-02 23:26:43 · 19153 阅读 · 8 评论 -
flink从安装到提交任务
本操作全部在Windows下环境进行操作,linux环境下更为简单 下载: flink这东西安装要启动local模式还是比较简单的,首先从官网上下载 http://flink.apache.org/downloads.html 我下载的是最新版本1.1.3, 解压flink: 下载完后对其进行解压,我解压所在的目录在D:\flink-1.1.3-bin-hadoop26-sca原创 2016-11-03 10:45:24 · 8818 阅读 · 0 评论