数据分析
大数据运维
大数据运维研发SRE
展开
-
Elasticsearch 存放地理信息数据+百度POI分析
ES是一个全文搜索引擎,同时也是一个NoSQL数据库,其存放数据方便与检索数据性能优越,收到普遍欢迎。ES架构参考文章:架构及原理ES地理数据操作参考文章:Elasticsearch地理位置总结实际操作建立Index一般有两种方式 1. ES Header通过界面化操作,直接可以建立Index: 2. 通过ES API可以创建Index。一般可以选择Java/Python的ES接口API原创 2017-09-27 20:48:19 · 4020 阅读 · 0 评论 -
elasticsearch vs mongodb
选择Elasticsearch还是选择MongoDB,该问题我已经被许多初学者、朋友或需要作出技术架构决策的开发者问及好多次了。那么应该选择MongoDB,还是选择ElasticSearch呢?因此,这里我简短的介绍一下MongoDB与Elasticsearch的不同之处,且 言明在什么场景下那个作为首要选项。我假设读者已经了解了关于MongoDB/Elasticsearch的基本概念。 假设两翻译 2017-09-27 21:20:58 · 21163 阅读 · 0 评论 -
HTML全文转化为PDF技术选型研究与流行方法汇总
在实际也无需求中,需要用到网页快照功能,并能够查看历史网页快照功能,因此需要实现网页格式的固化保存,保存为图片或PDF文件的形式。技术研究 做这样研究了网上许多技术,大都存在各种各样的缺陷。html2canvas&jsPDF 感兴趣的读者,可以参考: https://github.com/linwalker/render-html-to-pdf 该种方法,主要是通过JS调用实现,无法通过脚原创 2017-09-29 11:26:12 · 940 阅读 · 0 评论 -
Phantomjs服务模式:从性能并发方面谈起
作为比较好的动态网页爬虫手段,phantomjs在许多方面令人比较满意。调用Phantomjs的方式,一般有如下几种情况。命令行模式 在CMD或Shell中,直接输入phantomjs回车,进入命令行模式,能够完成各种操作。但一般情况是通过命令用调用phantomjs来完成爬虫或模拟工作,具体的代码放在JS中。如../bin/phantomjs --debug=yes ./server.js 89原创 2017-10-13 11:50:29 · 3322 阅读 · 0 评论 -
微博分析报告学习
一份微博分析报告, 本文主要将网页内容截屏为图片,主要用于学习,有兴趣的同学可以到原文微博传播效果分析转载 2017-10-15 16:41:07 · 1321 阅读 · 0 评论 -
开源数据流处理
随着公司规模增长,他们的工作流更加复杂,包含更多子处理过程以及带有复杂的依赖关系,这将导致更多监控、问题以及运维工作。如果没有一个清晰的数据血缘关系,可能会引起引用链问题和操作元数据丢失。这就是为什么DAGs、数据流和工作流管理器等产生的原因。 复杂的工作流可以通过DAGs来展现。DAGs就是信息沿着指定的方向在不通节点之间传递的一张图,但信息在图中流传不会回到原点。构建DAGs过程的就是数翻译 2018-01-18 13:43:48 · 1830 阅读 · 0 评论