2017年09月_大数据运维

原创 HTML全文转化为PDF技术选型研究与流行方法汇总

在实际也无需求中，需要用到网页快照功能，并能够查看历史网页快照功能，因此需要实现网页格式的固化保存，保存为图片或PDF文件的形式。技术研究做这样研究了网上许多技术，大都存在各种各样的缺陷。html2canvas&jsPDF 感兴趣的读者，可以参考： https://github.com/linwalker/render-html-to-pdf 该种方法，主要是通过JS调用实现，无法通过脚

2017-09-29 11:26:12 920

翻译 elasticsearch vs mongodb

选择Elasticsearch还是选择MongoDB，该问题我已经被许多初学者、朋友或需要作出技术架构决策的开发者问及好多次了。那么应该选择MongoDB，还是选择ElasticSearch呢？因此，这里我简短的介绍一下MongoDB与Elasticsearch的不同之处，且言明在什么场景下那个作为首要选项。我假设读者已经了解了关于MongoDB/Elasticsearch的基本概念。假设两

2017-09-27 21:20:58 21089

原创 Elasticsearch 存放地理信息数据+百度POI分析

ES是一个全文搜索引擎，同时也是一个NoSQL数据库，其存放数据方便与检索数据性能优越，收到普遍欢迎。ES架构参考文章：架构及原理ES地理数据操作参考文章：Elasticsearch地理位置总结实际操作建立Index一般有两种方式 1. ES Header通过界面化操作，直接可以建立Index: 2. 通过ES API可以创建Index。一般可以选择Java/Python的ES接口API

2017-09-27 20:48:19 3978

原创 Java使用付费代理的两种实现方法

免费代理，如西刺代理、快代理等代理网站公布的代理地址，常常存在几个问题： 1. 存在反扒措施，如限制爬虫频率、存在并发数限制、封IP等； 2. 免费代理存在时效性，无法长时间使用。目前获得稳定性能的最佳途径就是购买代理服务资源，通过代理服务商给出的IP:Port，UserName:Password来访问代理服务器，从而获得良好的代理体验。本文简单介绍，使用

2017-09-26 14:29:26 1025

原创判断GPS省市/区县非API调用方法

判断一个GPS点是否位于某省市/区县内，通常可以调用地图API来解决，通过调用逆地理信息API，可以获得完整的地址信息，因此可以判断该GPS的省市/区县。本文基于省市/区县的隶属关系，及其形状的几何关系，判断一个GPS点的隶属信息。原理如何判断一个点是否位于某几何形状之内呢？参考文献：判断一个点是否在多边形区域内判断根据中国各省/直辖市边界，以及省市包含二级行政划分的边界信息，以及三级区县划分的

2017-09-23 18:15:02 1569

原创一种可行性Java爬虫框架

简单的Java爬虫框架流程图，不包括容灾机制、异常处理等内容。框架流程图搭建分布式爬虫系统，框架的主要工作是打通队列、存储之间的联系。之后的工作，包括爬虫策略、容灾机制、错误处理等，都是通过爬虫节点来处理。事实上，只要框架搭建好之后，不断完善本地爬虫策略【使用内存队列】，就能够很好的实现分布式爬虫。爬虫节点爬虫节点设计的主要内容，包括但不限于： 1. 爬虫深度； 2. 爬虫策略；

2017-09-23 17:45:16 758

原创 JXL简单操作xls表格文件--写入文件

工作时用到写入Excel的场景，发现有Apache POI提供的jar包与JXL的jar包。实际操作时，个人感觉poi比较高大上，基本上能够实现excel的大部分功能，包括字体设置、表格设置等内容，但相对门槛较高，操作复杂。相比POI，JXL操作简单，容易入门，相比而言得到的EXCEL文档也是比简单，不需要特殊的格式化。 public static void write2xlsStr(Writ

2017-09-23 17:08:17 730

当今数据作为一家公司最重要的资产，可被该公司用来租赁、买卖、二次开发等使用。但外部人员非合理使用该公司数据，可能构成违法犯罪行为。各大地图供应商，包括但不限于百度、腾讯、高德等都有自己的地理数据编码格式，以及开放出来的API供开发者/用户使用。通过研究发现，解析离线地图包来获取地图数据的方式是不可行的。主要基于以下几点：离线地图包，存在数据加密。在不知道解密方式的情况下，解密的时间成本可能为无限大

2017-09-23 12:08:22 1166

转载 GPS经纬度转化为百度地图/Google坐标及互转方案

http://blog.csdn.net/ma969070578/article/details/41013547

2017-09-23 11:56:28 5733

原创无限制获取GPS对应地址的一种方法

市面上基本没有免费获取地理位置的方法，特别是对实时性要求比较高的情况下，基本上都是付费服务。本文使用Google地图API，在实时性要求不太高的情况下，能够不断获取GPS对应地址位置信息。原理调用Google地图API

2017-09-23 11:50:19 2935

原创各大地图API关于逆地理位置编码

物理网时代(IOT)，设备供应商可以获得大量的GPS信息，移动物品的GPS信息尤其重要。通过研究GPS的轨迹，或停留位置等信息，可以获得对营销、售后、商业合作等重要的信息。想要了解GPS信息，首先需要通过编码，获取GPS的物理地址，以及GPS转化、编码等内容。本文作者遇到GPS逆编码问题，对比了百度地图API、高德地图API、腾讯地图API等三家国内主要地图供应商的API调用、条数限制、并发限制等内

2017-09-23 11:31:43 5426

探索技术世界