最近股票很火,打算研究用代码下载股票数据,于是我做了一个Java代码的模拟IE网页登录的程序,
登录新浪的股票页面并下载一些数据来分析, 基本原理是利用Java自带的HttpURLConnection 类抓取网页,
不过有时有的网页返回不正常,需要用一些http协议的sniffer工具来辅助验证,比如
urlConn.setRequestProperty("Host","biz.finance.sina.com.cn");
urlConn.setRequestProperty("Accept","text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2");
这两句就是发现返回的页面不正常,后来抓取http头发现后加上的。
下面上程序:
import java.net.*;
import java.io.*;
public class test{
public static void main(String[] args){
try{
String url = "http://biz.finance.sina.com.cn/suggest/lookup_n.php?q=600018&country=cn";
String cookie = "";
String data = "test!!!";
HttpURLConnection urlConn=(HttpURLConnection)(new URL(url).openConnection());