爬虫
jey_4
宅在宅
展开
-
HttpClient高并发下性能优化
1、CloseableHttpClient的使用和优化(案例1)https://blog.csdn.net/u010285974/article/details/856962392、HttpClient连接池设置引发的一次雪崩(案例2)https://blog.csdn.net/u010889990/article/details/962366173、使用httpClient连接池...原创 2019-12-24 17:23:18 · 4115 阅读 · 2 评论 -
关闭HttpClient
一、HttpClient 4.X建议使用CloseableHttpClient 及CloseableHttpResponse 。CloseableHttpClient client = HttpClients.createDefault();--默认是使用连接池:PollingHttpClientConnectionManager,并默认对每个Route,HttpClient仅维护2个连接,总...原创 2019-12-24 17:18:00 · 6190 阅读 · 0 评论 -
Selenium+java环境搭建和默认加载用户配置
1、firefox(70.0.1 64 位) selenium 3.14.0参考:https://www.guru99.com/firefox-profile-selenium-webdriver.html选择自己配置文件名称,如果不知道哪个是默认,则点击启动Firfox查看即可,也可新建。然后代码中加一行即可启动default-release的配置了。Syste...原创 2019-12-01 11:33:13 · 397 阅读 · 0 评论 -
(JAVA)selenium中启动chrome浏览器时加载配置文件
参考:https://www.cnblogs.com/dieyaxianju/p/8540740.htmlhttps://blog.csdn.net/qq_24394093/article/details/82257825浏览器查看配置,使用chrome://settings/content一、加载所有Chrome配置 用Chrome地址栏输入chrome://vers...原创 2019-11-29 22:03:53 · 963 阅读 · 0 评论 -
fiddler
fiddler配置https://www.cnblogs.com/joshua317/p/8670923.html使用Fiddle对夜神模拟器进行抓包的设置https://blog.csdn.net/agree_qy/article/details/82490940fiddler抓取https原理及常见错误,参考如下:https://www.zhihu.com/qu...原创 2019-11-25 22:15:32 · 178 阅读 · 0 评论 -
java+webMagic+selenium
1、引入相关包 <!-- WebMagic --> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> &...原创 2019-11-23 11:29:12 · 690 阅读 · 0 评论 -
查看chrome的UserAgent
打开浏览器控制台,输入javascript:alert(navigator.userAgent)则可看到。原创 2019-11-23 09:01:08 · 3205 阅读 · 0 评论 -
Webmagic爬虫
Webmagic文档(没图片)http://webmagic.io/docs/zh/posts/ch1-overview/architecture.htmlwebmagic中文文档(有图片)https://max.book118.com/html/2017/0925/134944219.shtm原创 2019-11-21 16:43:35 · 233 阅读 · 0 评论