- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Python爬虫利器之selenium有无界面
selenium通过模拟浏览器完成一些操作，但是在一些服务器上是没有图形界面的，自然使用selenium操作需要在无界面操作。有界面操纵from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://baidu.com")driver.quit()无界面操纵#python3from selenium i...
2018-03-28 17:07:59
398
转载 Python中re的match、search、findall、finditer区别
这四个方法是从某个字符串中寻找特定子串或判断某个字符串是否符合某个模式的常用方法。1、match[python] view plain copyre.match(pattern, string[, flags]) 从首字母开始开始匹配，string如果包含pattern子串，则匹配成功，返回Match对象，失败则返回None，若要完全匹配，pattern要以$结尾。2、search[python...
2018-03-28 15:09:46
879
原创 Phantomjs性能优化
写过爬虫的朋友应该都用过一个无头浏览器–phantomjs，使用它的原因很简单明了：能够高度模拟浏览器访问（对抗反爬虫），无头浏览（可以节省性能）。Phantomjs应用最广泛的应该还是用来执行js代码，比如写一个js脚本，利用phantomjs去执行，可以写一个页面截图、网页性能测试等等功能的。 phantomjs也是爬虫界的一大神器，我最初使用它就是用来爬取一些动态加载的网页，效果俱佳。当然...
2018-03-28 11:32:12
4213
转载 HttpClient 4.3连接池参数配置及源码解读
目前所在公司使用HttpClient 4.3.3版本发送Rest请求，调用接口。最近出现了调用查询接口服务慢的生产问题，在排查整个调用链可能存在的问题时（从客户端发起Http请求->ESB->服务端处理请求，查询数据并返回），发现原本的HttpClient连接池中的一些参数配置可能存在问题，如defaultMaxPerRoute、一些timeout时间的设置等，虽不能确定是由于此...
2018-03-15 19:12:25
233
转载 HttpClien高并发请求连接池 - PoolingHttpClientConnectionManager
连接池技术作为创建和管理连接的缓冲池技术，目前已广泛用于诸如数据库连接等长连接的维护和管理中，能够有效减少系统的响应时间，节省服务器资源开销。其优势主要有两个：其一是减少创建连接的资源开销，其二是资源的访问控制。连接池管理的对象是长连接，对于HTTP连接是否适用，我们需要首先回顾一下长连接和短连接。 所谓长连接是指客户端与服务器端一旦建立连接以后，可以进行多次数据传输而...
2018-03-15 12:39:42
30625
5
转载 高并发、高性能 Web 架构
典型 Web App 架构以下是一个典型的高负载 web 应用示例：上图展示了一个典型的，三层架构的高性能 Web 应用。这种成熟的架构多年以来已被广泛部署于包括 Google、Yahoo、Facebook、Twitter、Wikipedia 在内的诸多大型 Web 应用中。 反向代理服务位于三层构架中最外层的反向代理服务器负责接受用户的接入请求，在实际应用中，代理服务器通常至少还要完成以下列表中...
2018-03-14 18:10:19
319
原创 java静态标示符static详解
1、static修饰的变量习惯称为静态变量，static修饰的方法称为静态方法，static修饰的代码块叫做静态代码块。1）static变量 static变量也称作静态变量，静态变量和非静态变量的区别是：静态变量被所有的对象所共享，在内存中只有一个副本，它当且仅当在类初次加载时会被初始化。而非静态变量是对象所拥有的，在创建对象的时候被初始化，存在多个副本，各个对象拥有的副本互不影响。 stat...
2018-03-14 16:50:47
344
原创 JsonObject使用
1. json数据类型类型描述Number数字型String字符串型Boolean布尔型Array数组Object对象null空值（1）json中不区分整数、小数等类型，而统一使用Number来存储数字。（2）Array表示数组，以中括号"[]"括起来，元素之间以逗号分隔，元素可以为任意类型。（3）Object表示对象，类似于C语言中的结构体，以花括号"{}"括起来，其元素要求为键值对，key必须...
2018-03-14 15:11:49
1747
python for eclipse
2016-09-06
VS2008下打包程序
2015-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人