2017年09月_aebdm757009

转载 jsoup HTML parser hello world examples--转

原文地址：http://www.mkyong.com/java/jsoup-html-parser-hello-world-examples/Jsoup, a HTML parser, its “jquery-like” and “regex” selector syntax is very easy to use and flexible enough to get whateve...

2017-09-30 10:51:00 101

转载 How to include custom library into maven local repository?--转

原文地址：https://www.mkyong.com/maven/how-to-include-library-manully-into-maven-local-repository/There are 2 cases that you need to issue Maven’s command to include a jar into the Maven local repos...

2017-09-29 13:38:00 71

转载中小型研发团队架构实践三要点--转

来自微信公众号聊聊架构作者｜张辉清编辑｜雨多田光如果你正好处在中小型研发团队……中小型研发团队很多，而社区在中小型研发团队架构实践方面的探讨却很少。中小型研发团队特别是 50 至 200 人的研发团队，在早期的业务探索阶段，更多关注业务逻辑，快速迭代以验证商业模式，很少去关注技术架构。这时如果继续按照原有的架构及研发模式，会出现大量的问题，再也无法玩下去...

2017-09-28 18:54:00 781

转载不用copy代码--eclipse使用git提交项目-转

原文地址：http://blog.csdn.net/u014079773/article/details/51595127准备工作：目的：eclipse使用git提交本地项目，提交至远程github上eclipse版本：eclipse4.5 64位jdk版本：jdk-1.7 64位项目类型：maven web项目备注：eclipse高版本自带git插件，而低版本...

2017-09-26 17:41:00 87

转载主流的Python领域和框架--转

原文地址：https://www.zhihu.com/question/19899608转载于:https://www.cnblogs.com/davidwang456/p/7590522.html

2017-09-25 09:47:00 64

转载 pyspider architecture--官方文档

原文地址：http://docs.pyspider.org/en/latest/Architecture/ArchitectureThis document describes the reason why I made pyspider and the architecture.WhyTwo years ago, I was working on a vertical ...

2017-09-22 20:53:00 170

转载 Scrapy Architecture overview--官方文档

原文地址：https://doc.scrapy.org/en/latest/topics/architecture.htmlThis document describes the architecture of Scrapy and how its components interact.OverviewThe following diagram shows an ove...

2017-09-22 18:01:00 113

转载中文转unicode，中文转bytes，unicode转bytes java实现

字符串的编码格式：String hex="\u5df2\u5b9e\u540d\u5236";// 十六进制 String dec = "全球通";//十进制String s="已实名制";//字符串相互转换的代码1.十进制转unicode编码public static String decToHe...

2017-09-22 17:34:00 1075

转载 java代码实现python2中aes加密经历

背景：因项目需要，需要将一个python2编写的aes加密方式改为java实现。1.源python2实现from Crypto.Cipher import AESfrom binascii import b2a_hex, a2b_heximport hashlibimport urllibclass aesCrypt(): def __...

2017-09-21 17:43:00 140

转载 pyCrypto python 3.5--转

原文地址：https://gxnotes.com/article/198426.html问题描述我发现一些PyCrypto安装程序为Python 3.3和3.4，但没有任何Python 3.5。当我尝试使用pip install安装PyCrypton时，它说：warning: GMP or MPIR library not found; Not building Cryp...

2017-09-20 17:40:00 74

转载网易NAPM Andorid SDK实现原理--转

原文地址：https://neyoufan.github.io/2017/03/10/android/NAPM%20Android%20SDK/NAPM 是网易的应用性能管理平台，采用非侵入的方式获取应用性能数据，可以实时展示多个维度的分析结果。本文主要给大家分享一下Android端SDK的实现原理。前言APM（Application Performance Manageme...

2017-09-19 11:12:00 137

转载 JVM源码分析之javaagent原理完全解读--转

原文地址：http://www.infoq.com/cn/articles/javaagent-illustrated概述本文重点讲述javaagent的具体实现，因为它面向的是我们Java程序员，而且agent都是用Java编写的，不需要太多的C/C++编程基础，不过这篇文章里也会讲到JVMTIAgent(C实现的)，因为javaagent的运行还是依赖于一个特殊的JVMTIA...

2017-09-19 11:00:00 91

转载如何快速实现高并发短文检索-转

2016-06-0258沈剑架构师之路一、需求缘起某并发量很大，数据量适中的业务线需要实现一个“标题检索”的功能：（1）并发量较大，每秒20w次（2）数据量适中，大概200w数据（3）是否需要分词：是（4）数据是否实时更新：否二、常见潜在解决方案及优劣（1）数据库搜索法具体方法：将标题数据存放在数据库中，使用like来检索优点：方案...

2017-09-19 09:37:00 68

转载百度咋做长文本去重（一分钟系列）--转

2016-01-1958沈剑架构师之路缘起：（1）原创不易，互联网抄袭成风，很多原创内容在网上被抄来抄去，改来改去（2）百度的网页库非常大，爬虫如何判断一个新网页是否与网页库中已有的网页重复呢？这是本文要讨论的问题（尽量用大家都能立刻明白的语言和示例表述）。一、传统签名算法与文本完整性判断问题抛出：（1）运维上线一个bin文件，将文件分发到4台线...

2017-09-19 09:35:00 106

转载百度如何能实时检索到15分钟前新生成的网页？--转

2017-03-0158沈剑架构师之路一、缘起《深入浅出搜索架构（上篇）》详细介绍了前三章：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索原理与核心数据结构《深入浅出搜索架构（中篇）》介绍了：（4）流量数据量由小到大，常见搜索方案与架构变迁（5）数据量、并发量、扩展性架构方案本篇将讨论：（6）百度为何能实时检...

2017-09-19 09:33:00 197

转载就是这么迅猛的实现搜索需求--转

2017-02-2358沈剑架构师之路一、缘起《深入浅出搜索架构（上篇）》详细介绍了：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索原理与核心数据结构本文重点介绍：（4）流量数据量由小到大，常见搜索方案与架构变迁（5）数据量、并发量、扩展性方案只要业务有检索需求，本文一定对你有帮助。二、检索需求的满足...

2017-09-19 09:32:00 211

转载深入浅出搜索架构引擎、方案与细节（上）

2017-02-1458沈剑架构师之路一、缘起《100亿数据1万属性数据架构设计》文章发布后，不少朋友对58同城自研搜索引擎E-search比较感兴趣，故专门撰文体系化的聊聊搜索引擎，从宏观到细节，希望把逻辑关系讲清楚，内容比较多，分上下两期。主要内容如下，本篇（上）会重点介绍前三章：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索...

2017-09-19 09:31:00 77

转载一个细节翔实、可供参考的支付体系架构演进实例--转

注：本文整理自美丽联合集团资深工程师陈宗在 ArchSummit 深圳 2017 上的演讲，原题为：《支付体系架构与实践》。上篇：支付体系架构演进在过去 4 年的时间里，作为面向亿级用户的大型时尚消费平台，美联集团历经着高速的业务增长和快速的业务演进。而其中最重要的基础业务平台，美联支付如何稳打稳扎、平滑演进，快速适应并高效支持着业务的复杂变化。我们从单一功能到完整体系、从臃肿单...

2017-09-19 09:13:00 194

转载 20个非常有用的Java程序片段--转

原文地址：http://geek.csdn.net/news/detail/236591下面是20个非常有用的Java程序片段，希望能对你有用。1. 字符串有整型的相互转换String a = String.valueOf(2); //integer to numeric string int i = Integer.parseInt(a); //numeric s...

2017-09-14 20:29:00 96

转载如何版本化你的API？--转

原文地址：http://www.infoq.com/cn/news/2017/09/How-versioning-API如何版本化API需要考虑各种实际业务场景，但是一个完备的API应该是：和客户端交互的约定。API需要确保稳定性，预先定义各种可能返回状态，包括各种异常。客户端无需考虑约定之外的情况。向下兼容。在API没有变化的时候，API实现的更新和升级，都应该确保原有...

2017-09-14 17:34:00 178

转载 Re：从 0 开始的微服务架构--(四)如何保障微服务架构下的数据一致性--转

原文地址：http://mp.weixin.qq.com/s/eXvoJew3bjFKzLLJpS0Otg随着微服务架构的推广，越来越多的公司采用微服务架构来构建自己的业务平台。就像前边的文章说的，微服务架构为业务开发带来了诸多好处的同时，例如单一职责、独立开发部署、功能复用和系统容错等等，也带来一些问题。例如上手难度变大，运维变得更复杂，模块之间的依赖关系更复杂，数据一致性难以...

2017-09-13 19:31:00 943

转载 Re：从0开始的微服务架构--(二)快速快速体验微服务架构？--转

原文地址：https://mp.weixin.qq.com/s/QO1QDQWnjHZp8EvGDrxZvw这是专题的第二篇文章，看看如何搭建一个简单模式的微服务架构。记得好久之前看到一个大牛说过：如果单体架构都搞不好，就别搞微服务架构。乍一看，这句很有道理，后来发现这句话是不太对的，因为微服务架构的目的就是为了降低系统的复杂性，所以微服务架构应该比单体架构更简单、更好...

2017-09-13 19:25:00 147

转载爬虫推荐的工具

爬虫推荐的工具：pyspider,BeautifulSouprequestsscrapymongodbrediskafka.repyV8：python执行js的插件phatomjs：一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGselenium：是一个用于Web应用程序测试的工具。Seleniu...

2017-09-08 15:37:00 63

转载 java实现sql批量插入参数

背景：需要更新一些不规范的时间格式，如将某个时间格式化为yy-MM-dd，实际上为 yy-MM-dd hh:mm:ss,并且需要提供回滚脚本。例如：规范化时间的脚本如下：update test set test_date=substring(account_date,1,10) WHERE test_date>'2017-06-01 00:00:00' A...

2017-09-08 14:47:00 309

转载 python2 与 python3 语法区别--转

原文地址：http://old.sebug.net/paper/books/dive-into-python3/porting-code-to-python-3-with-2to3.html使用2to3将代码移植到Python 3❝Life is pleasant. Death is peaceful. It’s the transition that’s troubles...

2017-09-08 11:40:00 82

转载 Flume日志收集系统架构详解--转

2017-09-06朱洁大数据和云计算技术任何一个生产系统在运行过程中都会产生大量的日志，日志往往隐藏了很多有价值的信息。在没有分析方法之前，这些日志存储一段时间后就会被清理。随着技术的发展和分析能力的提高，日志的价值被重新重视起来。在分析这些日志之前，需要将分散在各个生产系统中的日志收集起来。本节介绍广泛应用的Flume日志收集系统。一、概述 Flume是C...

2017-09-06 11:40:00 179

转载 Python学习网络爬虫--转

原文地址：https://github.com/lining0806/PythonSpiderNotesPython学习网络爬虫主要分3个大的版块：抓取，分析，存储另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫当我们在浏览器中输入一个url后回车，后台会发生什么...

2017-09-05 16:34:00 96

转载如何使用代理服务器上网，从基础到高手--转

如何使用代理服务器上网，从基础到高手基础篇什么是代理服务器代理服务器是介于浏览器和Web服务器之间的一台服务器，当你通过代理服务器上网浏览时，浏览器不是直接到Web服务器去取回网页，而是向代理服务器发出请求，由代理服务器来取回浏览器所需要的信息，并传送给你的浏览器。什么是免费代理服务器在使用代理猎手等软件搜索代理服务器地址时，会在验证状态栏中出现类似“要密码”、“Free”等字样。如果...

2017-09-05 13:27:00 540