最近在使用matlab提取赶集网上的租房数据,实现了一次性提取所有我要的信息到excel进行整合,为了提高速度,还使用了并行处理,
可以到达每秒3条租房信息的处理速度,但是同时也出现了问题,赶集网识别了我是用机器提取信息,再次访问时,每次提取信息时,都会
弹出验证码……
为了解决这个问题,考虑使用代理服务器,随时更改每次访问的ip地址,使得网站不能跟踪到我,找到以下方法:
官网给出的解决方法如下:
Solution:To configure your proxy settings in MATLAB:
1) Launch MATLAB
2) Select the "File" menu
3) Select "Preferences..."
4) Select "Web"
5) Check the box labelled "Use a proxy server to connect to the Internet"
6) Fill in your proxy information
7) If authentication is necessary, check the box labelled "Use a proxy with authentication" and fill in the appropriate information
8) Use the "Test connection" button to verify that the information entered was correct
NOTE: Only R2008b and newer has the ability to test the proxy connection and enter authentication informatio
代理服务器查询地址,每天都有更新,可以试试:
http://www.youdaili.cn/
http://www.proxy360.cn/default.aspx