- 博客(4)
- 问答 (3)
- 收藏
- 关注
RSS订阅sqoop 数据导入脚本
一.序言 简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。 sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因，sqoop 没有升级到2~。~ 二.简单步骤 1.base_import.sh : 集中配置一些链接信息，和公共参数，并引入其他脚本执行 2.base_c...
2015-09-29 10:56:56
676
数据可视化:Zeppelin+spark
一.序言 最近需要常见数据可视化的东西，主要是方便spark-sql ，方便内部操作方便，因此选择了个数据可视化的,hue 和 zepplin ，hue 是比较强大的，但是spark 方便也是孵化状态，是非apache 的， 先尝试下 Zeppelin 部署，最新0.6的不稳定，编译不过去，就用0.5吧。 下载地址：https://github.com/apache/i...
2015-09-09 10:48:23
511
spark笔记2-spark-sql 程序
一.序言 这里介绍用idea 跑程序去连接spark-sql->hive-metastore 的小例子，关于服务器上得保证spark-sql/spark-shell 正确执行，然后再用本地的程序去实现，我这里版本用的spark1.4.1+hive1.2.1+hadoop 2.7.1. 二.连接代码 结合笔记1的代码 2.1 maven 配置： ...
2015-09-08 16:01:33
203
spark 笔记1 -- spark程序连接
一.序言 spark 现在用得比较多了，但是开始连接spark 的的时候有些小问题，这里简单记录一下， 我用的spark1.4.1 hadoop2.7 hive1.2.1, 目的想用spark-sql 连接 hive 的metastore,关于集群配置 这暂时不介绍了，例子很多，这里仅仅记录java/scala 连接部分。 二.连接配置 2.1 maven ...
2015-09-07 11:40:07
319
空空如也
父类 静态方法 如何知道 是哪个从哪个子类进行调用？
2015-08-03
springmvc 入门 问题
2013-04-26
strust2 通过 属性赋予值，action 想获得list 对象集合，怎么获取
2012-11-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人