爬虫的学习总结

这里是我对最近几次课程的爬虫学习总结:
1.学习了Python的爬虫原理，在此基础上安装了urllib、requests、BeautifulSoup等库,并学习了基本语法，为后续爬虫作业打下基础。

2.完成第一次课上练习，对天气的爬取，巩固知识点，并将理论与实践相结合。

4. 完成了第一个爬虫作业,爬取NBA网站的排名，例如西部球队的排名和NBA球员数据排名。。这让我熟悉了一个爬虫程序的基本流程和结构。

5.学习了代理和User-Agent的概念及作用。代理可以隐藏真实IP,User-Agent可以伪装浏览器访问,这对于绕过目标网站的防爬机制很有帮助。

6. 完成了第二个作业,爬取豆瓣图书排名。这让我掌握了如何自动翻页爬取、如何避免重复爬取、如何存储并导出爬取结果等技能。

总体来说,这几次课程的学习让我对爬虫有了一个较为系统和全面的认知,不仅掌握了Python爬虫的语法和相关库的使用,还熟悉了整个爬虫程序的流程和框架。通过几个作业的实践,我逐步掌握并熟练使用了更多实用的爬虫技巧,这为我今后的爬虫实践奠定了很好的基础。我会继续努力,不断学习和练习,提高自己的爬虫技能。