2017年07月_jrymos001

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 Maven项目jar包出现: invalid LOC header (bad signature)

maven项目中出现: java.util.zip.ZipException: invalid LOC header (bad signature)的错误 jar包出错了,解决办法: 将maven下载到本地出错的jar包删掉,让其重新下载. 找到下载的路径: 把出错的jar包全部删掉,然后重新installmaven 问题解决:

2017-07-25 11:45:09 12201 1

原创抽取文本中的日期和时间

写这种算法真的是累啊,我是没辙,只能拿正则了,各位仁兄有何高见?测试效果: package com.fly.layer1;import static org.junit.Assert.*;import java.util.Arrays;import org.junit.Test;public class KeyWordsTest { String [] input = {

2017-07-24 12:45:06 2074

原创 java将中文数字替换为阿拉伯数字

擦,今天在网上搜了好久,居然没有阿拉伯数字替换中文数字的算法, 后来好不容易找了一个,居然是错的,日了狗了. 搞了半天,最后还是自己动手写了一个.测试: import static org.junit.Assert.*;import org.junit.Test;public class S2Test { @Test public void testS2() { a

2017-07-22 16:50:14 5112

原创教务系统,验证码识别,异步加载,java爬虫06

上一篇介绍了Python的selenium,今天终于把selenium的java环境弄好了. 遇到ajax异步加载的网页还真有点点头疼,普通的爬虫会遇到登录的网页和加载的验证码不一致, 不过selenium还真是神器,可以模拟浏览器,实现加载的网页一致性, 爬取网页无所不能.环境selenium3.4的jar包和依赖包下载: http://pan.baidu.com/s/1jI1ewNc 同时

2017-07-14 11:41:24 1219 1

一般的网页,使用httpclient就能做到,但httpclient的设计初衷是一个基于http协议的客户端,它并不是一个浏览器,也不具备浏览器的功能,所以针对ajax异步加载的网页,就无能为力了. 我本想也用java来做ajax异步加载网页的爬虫,只可惜使用selenium的jar包时,出了很多问题,我没能解决.最后还是选择用了Python来写.搭建环境1.下载selenium,selenium

2017-07-14 11:05:14 3454

原创 java爬虫教务信息门户(java爬虫04)

我从去年12月开始接触爬虫,现在已有足足7个月了,中间一直没搞懂cookie和http协议,时隔这么久,总算弄明白了,也总算爬进去了!!! 昨天开始学习的httpClient,今天用它练手爬一下学校的信息门户吧! http://myportal.sxu.edu.cn/login.portal1. 抓包以下信息是通过charm浏览器抓包(快捷键F12)获得的:1. http://myportal.

2017-07-10 11:25:25 1579

翻译 HttpClient基础知识(java爬虫03)

翻译文档: http://hc.apache.org/httpcomponents-client-4.5.x/tutorial/html/fundamentals.html1. 请求执行:HttpClient最重要的功能是执行HTTP方法。执行HTTP方法涉及一个或多个HTTP请求/ HTTP响应交换,通常由HttpClient内部处理。用户期望提供一个请求对象来执行,并且希望HttpClien

2017-07-09 15:33:11 484

原创 java爬虫教程02

httpClient的response也可以手动释放连接手动释放连接responseCloseableHttpClient httpclient = HttpClients.createDefault();HttpGet httpget = new HttpGet(“http://httpbin.org/get“);CloseableHttpResponse response = httpcl

2017-07-09 11:37:26 378

原创 java爬虫教程01

学习本教程前,先得了解http协议. 心血来潮,来搞点事情. 本教程基于: httpcomponents-client,主要根据官方文档讲解. http://hc.apache.org/httpcomponents-client-5.0.x/examples.html本人使用的是4.5.3版,下载地址: http://hc.apache.org/downloads.cgi一个简单的爬虫主要步

2017-07-09 11:10:13 1624