做爬虫的总结

1.爬取的网站技术并不一定是你想象的那种技术能完成的，需要适当调整技术。
2.爬取大量数据时，爬取的网站数据结构可能发生变化，需要你解决这种反爬技术。
3.爬取大量数据时，会遇到个别数据爬取情况和大多数数据都不同，需要将个别特殊情况考虑进去。