爬虫
文章平均质量分 72
MovingC
这个作者很懒,什么都没留下…
展开
-
爬虫中遇到的问题
昨天在爬一个综合型网站里面的公司具体信息的时候遇到了一些问题,因为是刚毕业工作,所以也许遇到的小问题对于我来讲也很重要。 1.总是出现read time out情况: 这个问题出现的原因有很多,一个是网速太慢,跟对方服务器也有关,还有很多因素,我是设置con.timeout(5000),最后尝试了很多方法,找到一种解决方法 int i=2; while(i<trs.size()){原创 2016-07-14 08:53:58 · 1445 阅读 · 0 评论 -
如何用HttpWebRequest通过代理IP post 到https的网站?
这个需求来自于我最近练手的一个项目,在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放,如果全部采用手工操作工作量大而且繁琐,因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作,这就免不了POST请求来登录,在实际过程中发现有些网站登录是HTTPS形式的,在解决过程中遇到了一些小问题,现在跟大家分享。 通用辅助类 下面是我编写的一个辅助类,在这个类中转载 2016-07-27 17:30:25 · 2137 阅读 · 0 评论