Python爬虫笔记（七）Mongo配置 一、mongo的配置 1、新建文件夹： C:\MongoDB\Server\3.4\data\db C:\MongoDB\Server\3.4\data\logs 2、配置环境变量： C:\MongoDB\Server\3.4\bin配置到path系统环境变量中。 3、测试是否配置成功 mongod --d...
Python爬虫笔记（五）动态html 一、反爬策略：1、请求头： ---user-agent ---referer ---cookie2、访问频率限制。 ---代理池 ---再用户访问高峰期进行爬取，冲散日志。12-13 7-10 ---设置等待时长。time.sleep(3)3、ajax异步请求，用接口获取数据。4、能一次性获取的数据，绝不发送第二次请求（获取数据的过程中尽量减少请求次数。） 能在列表页获取...
Python爬虫笔记（六）（2）多线程爬虫 关注： 程序运行速度---->主要是由cpu（大脑）来决定。 想要提高程序的运行速度----->提高cpu利用率。提高cpu的利用率由两种途径：（1）让cpu不休息。cup每时每刻都在处理任务，这个任务可以理解为线程。这种情况就叫做多线程。（2）cpu都是分核。每个核就是一个小脑袋。可以理解一心多用。让每个核都作用起来，去干不同的事情，这种方法是就叫多进程。一...
Python爬虫笔记（六）（1）selenium的三种等待 selenium的三种等待：1.强制等待：不管页面是否加载出来，强制让金晨等待。 time.sleep(2)2.隐式等待： driver.implicity_wait(20) 设置20秒的最大等待时长，等待的结束条件是： 等待到浏览器全部加载完成为止。 （全部加载可以理解为，浏览器不再转圈。） 弊端：页面的加载其实不单单是页面html，重要的是还有一些静态资源， 而静态资...
Python递归详解 递归的依据在数学中，其实就是数学中的数学归纳法。一、数学归纳法什么是数学归纳法？最简单和常见的数学归纳法是证明当n等于任意一个自然数时某命题成立。证明分下面两步：证明当n= 1时命题成立。 假设n=m时命题成立，那么可以推导出在n=m+1时命题也成立。（m代表任意自然数）这种方法的原理在于：首先证明在某个起点值时命题成立，然后证明从一个值到下一个值的过程有效。当这两点都已经证明...
关注
