计划写个分布式爬虫来对近十年开发的总结

  做程序员差不多快十年了，最近面试不如意，对以后的发展也不自信，想做个东西来总结一个自己这些来学到的东西。想通过这个爬虫来提升一下自己，简单的规划是：初步写一个单机版的爬虫，把多线程做到极致；随后会做分布式爬虫，加入SOA等互联网流行的技术，比如docker、soa等。前端打算用nodejs、reactjs、react-router、redux等技术。如果你对这个感兴趣请留下github。