昨天我们实现了如何登录服务器。那么这篇文章的内容是如何获得主界面
我们的主界面如下
在正中间我们有今天和明天的课表
下面是最近的通知
其他地方并没有我们感兴趣的地方。
我们要做的就是在登陆之后请求这个界面。然后得到这里面的html文件。在html里面找到自己的信息(课程,通知)
为了获得这个界面。我们还是要从抓包开始。不过为了简单一点起见。我并没有使用wireshark。而是使用了chrome。进行抓包分析。。
打开chrome的抓包分析用的快捷键是 F12
我们要在打开这开发者工具的时候重新从登陆界面登录到主界面。也就是从开始输入密码到主界面载入完成。得到的结果如下
在这个里面我们自习观察工具
工具的左端就是你请求资源的顺序。那个第一个deFault.aspx就是我们的登录界面登陆后第一个界面。因为我们要找的是主界面里面的内容,所以我们要找一个文件包含我们课程的名称的文件。所以我们可以选择Response那个选项卡,用来查看每个请求返回的文件。如果有课程内容的就是我们要请求的资源。
在这里我们可以看到 请求的资源是stuHome.aspx这个文件我们看看请求头
这里最上面的箭头指的内容就是我们需要请求的url。要注意cookie里面的请求一定要带上iflyssess那个变量。因为这个是系统分配给你的用户标识。代码你已经登录并且你是谁。。
分析工作已经结束,那么我们要编写代码了。。
我们可以先登录。然后记录cookie。然后发送请求。这样读出来的东西就是我们感兴趣的网页
//Main.java
package testSSE;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.util.HashMap;
import java.util.Map;
public class Main {
public static void main(String args[]) throws Exception
{
Session webServer=new Session();
Map<String, String> headers = null;
String loginUrl = "http://xxxxxxxxxxxx/default.aspx";
// Map<String, String> postData = new HashMap<String, String>();
headers = new HashMap<String, String>();
headers.put("Accept","*/*");
headers.put("Accept-Encoding", "gzip, deflate");
headers.put("Accept-Language", "zh-cn");
headers.put("Connection", "keep-Alive");
headers.put("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
headers.put("Host", "mis.sse.ustc.edu.cn");
HttpURLConnection conn =webServer.post(loginUrl, null,headers);
BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));
String inputLine = null;
while ((inputLine = in.readLine()) != null) {
System.out.println(inputLine);
}
in.close();
conn.disconnect();
System.out.println("这个是开始");
System.out.println("这个是开始");
System.out.println("这个是开始");
headers.put("Referer","http://xxxxxxxxxxxx.cn/homepage/StuDefault.aspx");
String mainViewUrl = "http://xxxxxxxxxxxx.cn/homepage/StuHome.aspx";
conn=webServer.get(mainViewUrl,headers);
in = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));
while ((inputLine = in.readLine()) != null) {
System.out.println(inputLine);
}
in.close();
conn.disconnect();
}
}
// Session.java
package testSSE;
import java.io.Serializable;
import java.net.URL;
import java.net.HttpURLConnection;
import java.util.List;
import java.util.Map;
import java.util.HashMap;
import java.util.Iterator;
import java.io.DataOutputStream;
public class Session implements Serializable {
private Map<String, String> cookies = new HashMap<String,String>();
public Session() {
this.cookies = new HashMap<String, String>();
}
public HttpURLConnection get(String url, Map<String, String> headers) throws Exception {
URL getUrl = new URL(url);
HttpURLConnection httpConn = (HttpURLConnection)getUrl.openConnection();
for (Object key : headers.keySet()) {
httpConn.setRequestProperty(key.toString(), headers.get(key).toString());
}
if (!cookies.isEmpty()) {
StringBuilder sb = new StringBuilder();
for (Object cookie : cookies.keySet()) {
sb.append(cookie.toString()).append("=").append(cookies.get(cookie).toString())
.append(";");
}
httpConn.addRequestProperty("Cookie", sb.toString());
}
httpConn.connect();
List<String> cookieFields = httpConn.getHeaderFields().get("Set-Cookie");
for (Object cookie : cookieFields) {
String str = cookie.toString().split(";")[0];
if(str.split("=")[0].equals("iflyssesse"))
{
cookies.put(str.split("=")[0], str.split("=")[1]);
}
}
return httpConn;
}
public HttpURLConnection post(String url, Map<String, String> data, Map<String, String> headers) throws Exception {
URL getUrl = new URL(url);
HttpURLConnection httpConn = (HttpURLConnection)getUrl.openConnection();
httpConn.setUseCaches(false);
httpConn.setRequestMethod("POST");
for (Object key : headers.keySet()) {
httpConn.setRequestProperty(key.toString(), headers.get(key).toString());
}
if (!cookies.isEmpty()) {
StringBuilder sb = new StringBuilder();
for (Object cookie : cookies.keySet()) {
sb.append(cookie.toString()).append("=").append(cookies.get(cookie).toString())
.append(";");
}
httpConn.addRequestProperty("Cookie", sb.toString());
}
httpConn.setDoOutput(true);
httpConn.setDoInput(true);
DataOutputStream wr = new DataOutputStream(httpConn.getOutputStream());
StringBuilder sbData = new StringBuilder();
int count = 0;
wr.writeBytes(
"__EVENTTARGET=winLogin%24sfLogin%24ContentPanel1%24btnLogin&__EVENTARGUMENT=&__VIEWSTATE=%2FwEPDwULL"+
"TE4ODU0MTIxMDdkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYJBQh3aW5Mb2dpbgUQd2luTG9naW4kc2ZMb2dpb"+
"gUWd2luTG9naW4kc2ZMb2dpbiRjdGwwMAUfd2luTG9naW4kc2ZMb2dpbiR0eHRVc2VyTG9naW5JRAUcd2luTG9naW4kc2ZMb2dpb"+
"iR0eHRQYXNzd29yZAUed2luTG9naW4kc2ZMb2dpbiRjYnhTYXZlTXlJbmZvBR53aW5Mb2dpbiRzZkxvZ2luJENvbnRlbnRQYW5lbDEFJ3dpbkxvZ2luJHNmTG"+
"9naW4kQ29udGVudFBhbmVsMSRidG5Mb2dpbgUIV25kTW9kYWy"+
"%2Bbc6QsNOdH7ZtF07lnmmRBXbUK%2F7AWPgOr2Q5ybbyRQ%3D%3D&X_CHANGED=true&winLogin%24sfLogin%24txtUserLoginID"+
"=这里是用户名&winLogin%24sfLogin%24txtPassword=这里是密码&winLogin_Hidden=false&WndModal_Hidden=true&X_TARGET"+
"=winLogin_sfLogin_ContentPanel1_btnLogin&winLogin_sfLogin_ctl00_Collapsed=false&winLogin_sfLogin_ContentPanel1_Collapsed"+
"=false&winLogin_sfLogin_Collapsed=false&winLogin_Collapsed=false&WndModal_Collapsed=false&X_STATE=e30="+
"&X_AJAX=true");
wr.flush();
wr.close();
List<String> cookieFields = httpConn.getHeaderFields().get("Set-Cookie");
if(cookieFields!=null)
{
for (Object cookie : cookieFields) {
String str = cookie.toString().split(";")[0];
if(str.split("=")[0].equals("iflyssesse"))
{
cookies.put(str.split("=")[0], str.split("=")[1]);
}
}
}
return httpConn;
}
}
程序的执行结果如下
我们已经能拿到数据了。。
接下来还有两个任务
1如何把信息检索出来
2如何点击按钮获得更多的信息
不要走开。精彩继续