爬虫心得

      爬取辽宁省集中采购网的采购和中标公告，这是我接触的第一个项目，来自大数据比赛。之前没有接触过项目，也没参加过比赛，感觉很遗憾。课程设计啥的都是坐车，现在自己开车做成了，感觉真的很开心。一直都是学的C++，没接触过爬虫，为了不留遗憾，准确的说是为了拿奖学金，就硬着头皮报了名，然后组了四人的队，做队长，分配任务，雄赳赳气昂昂就开始干了。刚开始也是逛论坛，看知乎，都说Python爬虫很好使，而且容易上手，就打算用Python。首先是装软件，不得不说，装软件真是一件很操蛋的事，装了两天，scrapy和beautifulsoup给我的印象太深刻了，真考验人的耐心，就在心态要爆炸的时候装成功了。于是开始爬网页，从静态开始，不难。后来发现目标网站是个.ASPX动态网站，在翻页那一块纠结了三天，最后还是请教别人才弄懂的，不过成品这边我没用dopostback，而是requests，挺好用，还是在极客学院买了个会员，看了相关视频才学会。整个过程给我最深刻的回忆就俩字，痛苦。遇到问题你各种查，然后还是没解决，那种感觉很难受，而且最后求人的时候很痛苦，可能自尊心比较强吧。上网查就像你在迷宫里，怎么也找不到出口。看视频的感觉就像你在俯视迷宫，会很快理清路线，找到出口。这种情况适合小白，看视频学比较轻松。

        24号之前交作品，所以还要写论文，论文完事就是开题了，开题之后就是六级，妈蛋，六级考八次了！加油吧，工作了肯定比这更累。俺妈还说等我上班了就能吃胖了，可我是程序员啊，程序员能吃胖？

        等比赛结束了写篇爬虫的内容吧，以后也要养成写博客的习惯，技术，日常啥的，写东西还是对自己有好处的。加油吧dancingCod!

转载于:https://my.oschina.net/u/3053376/blog/790882