![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
crj_9527
这个作者很懒,什么都没留下…
展开
-
spark通过jdbc访问postgresql数据库
1.首先要有可用的jdbc [hadoop@db1 bin]$ locate jdbc|grep postgres /mnt/hd01/www/html/deltasql/clients/java/dbredactor/lib/postgresql-8.2-507.jdbc4.jar /usr/lib/ruby/gems/1.8/gems/railties-3.2.13/lib/rails/ge原创 2015-12-09 09:56:02 · 5674 阅读 · 0 评论 -
spark streaming+flume avro实时计算
1.编写测试代码,制作成jar包(spark提供的测试代码如下,已经编译好了,自己写代码,要用maven或者sbt制做jar包:) package org.apache.spark.examples.streaming import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import原创 2015-12-09 09:54:18 · 620 阅读 · 0 评论 -
spark streaming初体验
spark streaming是建立在spark上的大规模实时流计算框架。通过阅读官方文档,做了一个本地的测试。 1.需要的工具 netcat:通过TCP和UDP在网络中读写数据的工具 下载地址:http://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gz spark:编译安装并起动的spa原创 2015-12-08 23:15:56 · 1007 阅读 · 0 评论