值得每一个学Python爬虫的人，反思的项目总结_python网路爬虫实训结论或结果(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

‘create_time’: ‘2018-03-20’,

‘positionId’: 2779439,

‘positionName’: ‘Python开发工程师（全栈）’,

‘salary’: ‘15k-25k’}

PC端的数据会稍微丰富一些，长这样:

{

‘businessZones’: [‘东四’, ‘美术馆’, ‘北新桥’],

‘city’: ‘北京’,

‘companyFullName’: ‘凡普金科企业发展（上海）有限公司’,

‘companyLabelList’: [‘年底双薪’, ‘节日礼物’, ‘技能培训’, ‘带薪年假’],

‘createTime’: ‘2018-03-22 10:41:03’,

‘education’: ‘本科’,

‘linestaion’: ‘5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷’,

‘positionName’: ‘Python工程师’,

‘salary’: ‘25k-35k’,

‘secondType’: ‘后端开发’}

解析字典的时候会区分一下，然后获取总的页数，一般解析第一页就可以看到页数.然后进行循环爬取，进行解析。比如我们要获取职位的名称，职位的公司，职位的薪水，职位的城市和发布日期，这几个特征值，然后保存在一个字典列表里面即可！


4).数据的保存


常见的数据的保存我们一般用csv和json文件保存，csv文件一般都是先写一个头部，然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了， 我们直接建一个文件dump一下就可以保存了


上面走一遍，感觉是不是很容易啊！如果你只看到这里，那么你离进阶又失之交臂了！


### 2.技术的反思


1).单线程to多线程


* 上面的爬取都是单线程的爬取，职位不是很多，如果几万或者几十万的数据呢！你顺序爬取，很显然太慢，需要考虑并发！
* 并发有多进程，多线程，线程池，或者用协程并发


2).断点续爬


上面的爬取没有考虑异常情况，如果爬取的过程出错了！怎么办，你需要重头爬取，不是一个明智之举，如何断点续传呢：


* 比较常用的做法是保存文件，然后续爬的时候，先检测文件是否存在，如果存在查一下职位的id是否已经在文件中，不在则爬，在则跳过爬下一个！
* 那有没有更好的办法呢，阿蔡建议用Redis来处理，一个牛逼的非常快速的内存数据库，爬取的时候只要监听  
 redis数据,思路类似上面的文件爬取.


3).增量爬取


我们的爬取都是当天的数据，如何考虑增量爬取,我们首先要对日期进行处理！拉勾上的职位很多发布日期都是相对时间，比如今天12:10，昨天8：00，如果考虑时间序列的增量，必须要把这些相对时间在爬取的时候，做数据清洗！


### 3.细节的推敲


* 比如我们保存多个爬取的数据的时候，是用列表存储，还是用双向列表！
* 构建一个字典的时候，如果获取的数据的值为空，比如薪资异常，有没有考虑到用缺省字典
* 我们爬取的时候，有没有考虑异常处理，如果出现了403反爬，是否用了随机代理和构建一个代理池来处理
* 循环保存的时候，要不要用yield迭代器会不会更快一点


当然这些是我想到的一部分，也许还有更多的细节需要推敲和挖掘，把代码写的更好更美,好的代码应该是改出来的，需要不断的重构。


### 4.兴趣是最大的动力


2周的训练，能坚持下来的并不多，最后交卷的只有四层左右，虽然是一个很小的实战项目！但是在前进的过程中，很多时候会被途中的风景所吸引而忘记了赶路，或者是走到了一般遇到了一些问题和障碍，不一定会坚持越过山丘! 一件事情能否做到底，取决于你对成功的欲望有多强烈，你越渴望成功，你的目标非常清晰，越容易坚持！


**读者福利：知道你对Python感兴趣，便准备了这套python学习资料**



> 
> 👉[[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)（**安全链接，放心点击**）
> 
> 
> 


**对于0基础小白入门：**



> 
> 如果你是零基础小白，想快速入门Python是可以考虑的。  
>  一方面是学习时间相对较短，学习内容更全面更集中。  
>  二方面是可以找到适合自己的学习方案
> 
> 
> 


包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！


### 零基础Python学习资源介绍


* ① Python所有方向的学习路线图，清楚各个方向要学什么东西
* ② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析
* ③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论
* ④ 20款主流手游迫解 爬虫手游逆行迫解教程包
* ⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解
* ⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解
* ⑦ 超300本Python电子好书，从入门到高阶应有尽有
* ⑧ 华为出品独家Python漫画教程，手机也能学习
* ⑨ 历年互联网企业Python面试真题,复习时非常方便


### 👉Python学习路线汇总👈


Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/c7bac92961d743dfa8ce2e4b33f66d12.png)


### 👉Python必备开发工具👈


![在这里插入图片描述](https://img-blog.csdnimg.cn/ec2198fcaf4d4c3e81d8b86badfbd57d.png)


**温馨提示：篇幅有限，已打包文件夹，获取方式在：文末**


### 👉Python学习视频600合集👈


观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/cbd8d01ac8b644beb79653169e1c5860.png)


### 👉实战案例👈


光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/7a738a3e98f546e4ac75e105b0baf05e.png)


### 👉100道Python练习题👈




**（1）Python所有方向的学习路线（新版）**  

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**