HuFeiHu's Blog

知无涯者,虚心若愚,求知若饥,勇者天佑 !

Geotrellis系列文章

一、geotrellis使用初探 二、geotrellis使用(二)geotrellis-chatta-demo以及geotrellis框架数据读取方式初探 三、geotrellis使用(三)geotrellis数据处理过程分析 四、geotrellis使用(四)geotrellis数据处理部分细...

2019-01-15 18:30:19

阅读数:22

评论数:0

时空大数据赋能智慧城市的思考和实践

时空大数据和新型智慧城市是当下地信产业的两大热词,这两者的奇妙关联将擦出怎样精彩的火花?时空大数据如何赋能城市智能与城市智慧,让智慧城市建设迈上新的高度?   2月6日至7日,由中国地理信息产业协会主办的智慧城市时空大数据与云平台建设培训研讨班在昆明召开,北京超图信息技术有限公司副总裁陈正在培...

2019-01-15 00:21:27

阅读数:51

评论数:0

geodocker-geomesa安装指南

背景     geotrellis作为一个处理遥感数据的框架,对于遥感数据支持的很棒,但是对于矢量数据却有些不足,首先它的样式选择单一,不能像geoserver使用sld自定义出各种样式,其二就是对与矢量的支持稍弱。那为啥么要用geomesa呢?这个框架资料还是比较多的,支持矢量操作,geose...

2019-01-15 00:04:43

阅读数:27

评论数:0

geopyspark入门

背景     对于GIS的大数据量实时数据分析和渲染的需求,ArcGIS Server和Geoserver、普通空间数据库往往难以满足,对此我一直感觉很沮丧。这时就要寻求大数据的分布式框架帮助。 现状     我了解到有Geomesa,Geotrellis,GeoWave三大框架。GeoWa...

2019-01-14 23:52:55

阅读数:35

评论数:0

Apache Arrow 内存数据

文章转自:https://www.cnblogs.com/smartloli/p/6367719.html 1.概述   Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层,来加快大数据分析项目的运行速度。 2.内容   现在大...

2019-01-13 16:35:11

阅读数:24

评论数:0

Stream 分布式数据流的轻量级异步快照

1. 概述 分布式有状态流处理支持在云中部署和执行大规模连续计算,主要针对低延迟和高吞吐量。这种模式的一个最根本的挑战就是在可能的失败情况下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先,他们经常拖延影响数据摄取的整体计算过程。其次,持久化存储所有传...

2019-01-08 14:31:27

阅读数:35

评论数:0

Spark在美团是怎么实现的

目录 1. 美团离线计算平台架构都有哪些框架? 2. 为什么要使用Spark架构? 3. spark推广过程中需要注意哪些方面? 前言 美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、...

2019-01-08 14:29:53

阅读数:82

评论数:0

Hadoop/Spark相关面试问题总结

面试回来之后把其中比较重要的问题记了下来写了个总结:  (答案在后面) 1、简答说一下hadoop的map-reduce编程模型 2、hadoop的TextInputFormat作用是什么,如何自定义实现 3、hadoop和spark的都是并行计算,那么他们有什么相同和区别 4、为什么要...

2019-01-08 14:29:07

阅读数:31

评论数:0

深入理解Apache Flink核心技术

Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。本文假设读者已对MapRe...

2019-01-08 14:27:33

阅读数:76

评论数:0

GeoMesa的安装与Quick Start(HBase)

GeoMesa是一个运行在分布式计算系统上,支持大规模时空矢量数据查询和分析的开源工具。 本文介绍GeoMesa安装,以及来自官方的Quick Start教程(基于HBase)。 第一部分 GeoMesa的安装 1.下载 从Github下载已经编译好的二进制文件,解压至目标目录 # d...

2019-01-05 20:19:04

阅读数:40

评论数:0

GeoMesa源码编译

前言 1、参考:GeoMesa官方英文文档:https://www.geomesa.org/documentation/developer/introduction.html 2、本篇介绍了如何编译GeoMesa源码,即官方文档中所谓的从源码构建GeoMesa,以及对GeoMesa工程的组成架...

2019-01-05 20:17:11

阅读数:44

评论数:0

GeoMesa源码学习:空间索引

本文转自:http://keep.01ue.com/?pi=298096&_a=app&_c=index&_m=p 分布式空间索引可以说是GeoMesa的灵魂了,它直接决定了空间数据的:(1)行主键(2)数据分区与负载均衡(...

2019-01-05 20:12:39

阅读数:82

评论数:0

GeoMesa源码学习--整体架构

 GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包,它支持多种可扩展的、基于云端的数据存储架构,包括Apache Accumulo, HBase,Cassandra,Google Bigtable,以及用于流计算的Apache Kafka 。同时GeoMesa还可以...

2019-01-05 19:49:12

阅读数:51

评论数:0

GeoMesa-HBase部署实践

关于HBase实验环境的搭建请参阅我的另一篇文章: https://blog.csdn.net/xiaof22a/article/details/80213064 1. GeoMesa源代码编译 由于考虑到日后需要基于GeoMesa进行二次开发,所以本文采用的是编译GeoMesa源代码的方式...

2019-01-05 19:34:09

阅读数:34

评论数:0

GeoMesa-HBase部署实践

本文参考了:https://www.linkedin.com/pulse/testing-big-spatial-data-software-hadoop-hbase-geowave-alvaro-huarte/ 以及geowave的官方文档。并成功在geoserver发布了地图服务。效果见图:...

2019-01-05 19:01:06

阅读数:37

评论数:0

GeoMesa 索引概述

GeoMesa使用许多不同的索引来满足各种搜索谓词。每个索引都有一个标识符,用于在配置选项中引用它。GeoMesa将为给定的SimpleFeatureType模式创建各种索引。这允许我们以优化的方式回答各种查询。GeoMesa将尽最大努力确定用于索引的属性。要使用的属性也可以指定为SimpleFe...

2019-01-05 18:52:52

阅读数:50

评论数:0

GeoMesa 相关资料整理

1.介绍 GeoMesa-HBase部署实践  https://blog.csdn.net/xiaof22a/article/details/80215787  GeoMesa架构  https://blog.csdn.net/u011596455/article/details/75868609...

2019-01-05 18:49:22

阅读数:41

评论数:0

精通Apache Flink必读系列文章

Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎,其核心设计理念与Spark有很大的不同。 从设计出发点,Flink是一个流计算处理计算引擎,把批处理视为无限流计算的一种特例,Spark是批处理计算引擎,把流处理视为迷你批处理,因为设计上的差异,导致在对处理时延要...

2019-01-01 19:31:20

阅读数:60

评论数:0

数据库相关中间件介绍

详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt412 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题: 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变...

2018-12-05 10:24:00

阅读数:92

评论数:0

Cheat Sheets for AI, Neural Networks, Machine Learning, Deep Learning & Big Data

在过去的几个月中,我一直在收集有关人工智能的相关资料。随着各种的问题被越来越频繁的提及,我决定整理并分享有关人工智能、神经网络、机器学习、深度学习与大数据的技术合辑。同时为了内容更加生动易懂,本文将会针对各个大类展开详细解析。 神经网络 机器学习 机器学习: Scikit-learn...

2018-12-04 13:24:46

阅读数:106

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭