python爬虫
华夏龙傲天
hello world
展开
-
Python爬虫笔记(一)基础
一、爬虫的定义:二、爬虫可以解决的问题:三、爬虫工程师的进阶之路:四、搜索引擎:五、robots协议:六、http协议:原创 2019-12-17 20:06:19 · 426 阅读 · 0 评论 -
Python爬虫笔记(七)Mongo配置
一、mongo的配置 1、新建文件夹: C:\MongoDB\Server\3.4\data\db C:\MongoDB\Server\3.4\data\logs 2、配置环境变量: C:\MongoDB\Server\3.4\bin配置到path系统环境变量中。 3、测试是否配置成功 mongod --d...原创 2020-01-02 20:28:30 · 157 阅读 · 0 评论 -
Python爬虫笔记(五)动态html
一、反爬策略:1、请求头: ---user-agent ---referer ---cookie2、访问频率限制。 ---代理池 ---再用户访问高峰期进行爬取,冲散日志。12-13 7-10 ---设置等待时长。time.sleep(3)3、ajax异步请求,用接口获取数据。4、能一次性获取的数据,绝不发送第二次请求(获取数据的过程中尽量减少请求次数。) 能在列表页获取...原创 2019-12-24 08:36:33 · 160 阅读 · 0 评论 -
Python爬虫笔记(六)(2)多线程爬虫
关注: 程序运行速度---->主要是由cpu(大脑)来决定。 想要提高程序的运行速度----->提高cpu利用率。提高cpu的利用率由两种途径:(1)让cpu不休息。cup每时每刻都在处理任务,这个任务可以理解为线程。这种情况就叫做多线程。(2)cpu都是分核。每个核就是一个小脑袋。可以理解一心多用。让每个核都作用起来,去干不同的事情,这种方法是就叫多进程。一...原创 2019-12-23 22:01:09 · 145 阅读 · 0 评论 -
Python爬虫笔记(六)(1)selenium的三种等待
selenium的三种等待:1.强制等待:不管页面是否加载出来,强制让金晨等待。 time.sleep(2)2.隐式等待: driver.implicity_wait(20) 设置20秒的最大等待时长,等待的结束条件是: 等待到浏览器全部加载完成为止。 (全部加载可以理解为,浏览器不再转圈。) 弊端:页面的加载其实不单单是页面html,重要的是还有一些静态资源, 而静态资...原创 2019-12-23 19:09:53 · 222 阅读 · 0 评论 -
Python爬虫笔记(四)xpath
xml,xml和html的区别,xpath原创 2019-12-20 21:58:56 · 203 阅读 · 0 评论 -
Python爬虫笔记(三)(2)正则表达式
数据的分类 json数据正则表达式原创 2019-12-19 19:07:22 · 181 阅读 · 0 评论 -
Python爬虫笔记(三)(1)cookie和session
什么是cookie什么是session产生的原因cookie的原理session的工作原理原创 2019-12-19 18:56:50 · 216 阅读 · 0 评论 -
Python爬虫笔记(二)requests模块get,post,代理
使用步骤:1.导包2、确定基础url3、发送请求,获取响应4、处理响应内容原创 2019-12-18 19:12:34 · 913 阅读 · 0 评论