Spark
独孤尚亮dugushangliang
古人之观于天地、山川、草木、虫鱼、鸟兽,往往有得,以其求思之深而无不在也。夫夷以近,则游者众;险以远,则至者少。而世之奇伟、瑰怪,非常之观,常在于险远,而人之所罕至焉,故非有志者不能至也。有志矣,不随以止也,然力不足者,亦不能至也。有志与力,而又不随以怠,至于幽暗昏惑而无物以相之,亦不能至也。然力足以至焉,于人为可讥,而在己为有悔;尽吾志也而不能至者,可以无悔矣,其孰能讥之乎?
展开
-
HBase读写tif文件/其他格式文件
目录 1 导入包 2 写入到hbase中的函数 3 从hbase到本地 4 main函数 5 完整代码 6 java批量写入 7 spark批量写入到hbase 写入的基本思路是将文件读取为字节型数组,再插入hbase。 使用java实现将本地图片写入到hbase中,从hbase中读取并写入到本地。以tif格式为例。 写到hbase中再写到本地得到的图和原始图是一致...原创 2019-10-23 22:38:51 · 517 阅读 · 3 评论 -
Spark读写postgresql
记录spark读写postgresql的操作 读写mysql同理,个别地方可能需要修改 1 连接数据库的两种方式 其中一为spark的读取方式,二为通过结合java读取 读方法一 val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:postgresql://127.0.0.1:5432/geodb") .option...原创 2019-10-17 19:55:17 · 8387 阅读 · 2 评论