Crawler
文章平均质量分 58
luckystar2008
个人博客:https://tommy88.top
展开
-
抓取WebSocket推送的消息
介绍很多直播或对数据及时性要求比较高的网站,使用了WebSocket。这种数据要怎么抓呢?我们这里以socket.io为例,我们可以查看网站网页源代码看使用的H5的WebSocket还是socket.io等JS库。这里以java语言为例说明。假定网站使用的是socket.io库来实现消息推送。我们如何通过java来获取服务端推送的信息呢?socket.io提供了java的客户端实现...原创 2018-09-04 09:43:39 · 3966 阅读 · 0 评论 -
httpclient之basic认证
本文主要说明如何使用httpclient进行basic认证。我们常用的登录是form形式,但也有的登录采用的basic认证,比如activeMq默认就是basic认证。private final static CloseableHttpClient getBasicHttpClient(String username,String password) { // 创建HttpCl...原创 2018-09-05 10:39:52 · 2117 阅读 · 0 评论 -
HttpClient进行https请求
并不是所有的https请求都需要按照下面的代码进行设置,如果遇到下面的问题,则需要这么做。 javax.net.ssl.SSLException: hostname in certificate didn't match:采用绕过验证的方式处理https请求需要指定信任所有证书,并指定不校验域名。DefaultHttpClient代码:public static ...原创 2018-09-05 10:41:22 · 5282 阅读 · 0 评论 -
java代理设置
本文主要讲述使用HttpClient时的代理设置。常见的设置代理的方法使用系统代理配置可以通过下面的方式来分别设置HTTP代理,HTTPS代理和SOCKS代理:// HTTP 代理,只能代理 HTTP 请求System.setProperty("http.proxyHost", "127.0.0.1");System.setProperty("http.proxyPor...原创 2018-09-06 09:43:46 · 7708 阅读 · 0 评论 -
tess4j验证码识别
tess4j的安装和使用参考:https://www.cnblogs.com/cmyxn/p/6993422.htmltess4j提高识别率1.对称近邻均值滤波参考:http://blog.csdn.net/fangbinwei93/article/details/505624492.指定config为digits,并修改tessdata\configs\digits文件,将白名单中设置...原创 2018-09-20 09:31:28 · 2692 阅读 · 1 评论 -
Win10使用360WIFI抓手机APP网络请求
下载Fiddlerhttps://www.telerik.com/download/fiddler/fiddler4操作步骤:1.打开Fiddler,Tools-Fiddler Options-Connections,勾选Allow remote computers to connect,端口为8888,保存选项后重启Fiddler;2.在电脑上查看360wifi无线网卡IP地址,运行命令...原创 2018-09-21 16:24:34 · 1106 阅读 · 0 评论