爬虫小白自学日记

前言：本人刚毕业不到一年的工科生，代码经历只停留在大一上C语言的经历（基本等于0），从接触python到实现自己的需求花了5个月的时间，因为大部分遇到的问题都是在CSDN上找到的，所以想写一篇总结，回顾一下这几个月的经历和分享一些心得，让在刚开始学习python的人有一些参考。

1. 需 求：由于每个月都要从公司内网里面取数据，汇总到EXCEL表格上做成报表（就这一个简单的活，数据多起来，搞一个小时都搞不完）

2.python基础入门：推荐买书+视频课教程，这样跟着视频老师敲代码（个人推荐最好加入社群或者QQ群，这样有不懂的可以请教别人或者发帖子询问；新人遇到的问题，98%的新人都遇见过），敲几遍就会了；由于需求简单，只需要掌握基础的列表，循环，函数，字典，类和对象（3个月左右，每天1个小时学习）就差不多可以满足自己的需求了。

3.装环境：由于是在公司内网里面，各种依赖包推荐进这个网站（https://www.lfd.uci.edu/~gohlke/pythonlibs/）去下载相应的whl文件（注意版本，python版本上3.7的要下3.7的）；新手对于CMD这个命令行的基本操作会很不习惯，去网上找找关于CMD的基操就可以了，还是那句话，孰能生巧，不懂就问。我遇到最多的坑就是没办法用pip去自动安装（内网完全阻断了访问外部链接），所以我都是把WHL文件放到python文件里面的那个Scripts（例：D:\迅雷下载\python\Scripts）文件夹里面，然后打开CMD，输入CD+空格+D:\迅雷下载\python\Scripts，进入目标文件夹，再输入pip install xxx.whl（当初就是这个简单的过程折磨了我半个月，对于没有计算机基础的小白，装环境都可以劝退好多人），推荐使用pycharm这个软件，很好用，也容易上手，帮助新手快速打码。

4.对网页的分析：关于网站的基本知识网上也很多，可根据自己的需求来学习，关于爬虫的知识推荐看（https://edu.csdn.net/course/play/24454/296784?utm_source=distribute.pc_search_result.none-task）这个CSDN视频里面详细的讲了爬虫的应用（基本上就是看着这个视频学习的），基本可以解决对于不需要验证码登录的公司内网爬取的需求。

5.坚持：万事开头难，对于一个全新的领域，需要学习的东西太多，但是每天的工作时间占据了大部分精力，只有晚上1-2个小时可以学习，特别考验一个人的自制力；遇到BUG不要怕，根据报错来排查问题，不行就截图，复制代码发帖子，找社群的人帮忙，不要一个人蛮干，有时自己想了好几天都没有大神一句话来的快；有时解决不了BUG会感到很烦躁，可以去运动一下，转移注意力，等心情好了再继续DEBUG，可能会有意想不到的灵感帮助解决问题哟，这些都需要自己去坚持才能完成的。
6.收获：当我用代码完成了我的需求时，那种成就感真的很振奋人心，我感受到了前所未有的成就感；我觉得编程不仅是要学各种编程语言，API，更重要的是对抽象能力的应用，怎么把一个重复的过程用编程语言去描述出来，再让计算机去实现这个过程，这是让我比较着迷的地方，可能我比较懒，能用更方便的办法解决事情就会去尝试这个方法，希望在未来可以解决更多的需求。