获取下载网址

    在下载网页源代码时，我们必须获取网页正确的网址。但是很多网页的网址并不是我们所需要的网址，这时就需要我们解析。

第一类网址如：http://www.boc.cn/sourcedb/whpj/。像这样的网址，我们可以直接下载我们所需要的数据。

第二类网址如：http://www.sge.sh/publish/sge/xqzx/jyxq/index.htm 先从一个网页获取网址，然后从获取的网址中找到我们需要的网址。

第三类网址如：http://www.sse.com.cn/sseportal/webapp/rzrq/sumdatainfo。如何下载指定日期的网址呢？我们可以查看源代码，找到相应的JS代码。下载指定日期的数据需要我们传递日期参数。最后就可以写成：http://www.sse.com.cn/sseportal/webapp/rzrq/sumdatainfosumtype=mxtype&GOTOPAGE=1&mbyear=2011&mbmonth=09&mbday=20&meyear=2011&memonth=09&meday=21

第四类网址如：http://money.finance.sina.com.cn/mkt/#zs_hk。这类网站的数据是延迟加载的。同样我们可以通过解析JS文件获得正确的网址。

我们可以借助Mozilla Firefox火狐浏览器。火狐浏览器会让我们的工作事半功倍哦！！

转载于:https://www.cnblogs.com/bulebule/archive/2013/01/11/2184072.html