python
厄祖
这个作者很懒,什么都没留下…
展开
-
汉诺塔问题python解析
汉诺塔问题python解析问题背景问题分析设想python代码讲解小编说明:问题背景汉诺塔其实是在1883年的时候有一个法国的数学家名字叫卢卡斯发明的,不过关于这个游戏有一个传说,就是在佛教里面有一个神叫梵天,在创造世界的时候有一个圣地不是叫做贝拿勒斯在这个地方,造一个庙宇,庙宇里面有一个黄铜做的台子上面有三根宝石柱,而在其中一根宝石柱的上面梵天放了六十四个金罗盘,金罗盘上边小下边大,有一个僧...原创 2020-03-14 03:16:17 · 705 阅读 · 0 评论 -
requests总结
requests的总结requests的安装:requests请求:requests请求参数:一.GET请求:response.text乱码问题:二. POST请求三.POST上传图片四.设置代理五.获取cookies六.session七.处理HTTPS请求 SSL证书验证requests的安装:$pip install requestrequests请求:requests请求参数:...原创 2019-09-09 19:59:13 · 205 阅读 · 0 评论 -
xpath总结
xpath总结:一. 什么是xpath:XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历什么是XML?XML 指可扩展标记语言(EXtensible Markup Language)XML 是一种标记语言,很类似 HTMLXML 的设计宗旨是传输数据,而非显示数据XML 的标签需要我们自行定...原创 2019-09-09 20:27:56 · 271 阅读 · 0 评论 -
BeautifulSoup4CSS选择器 总结
BeautifulSoup4CSS选择器和 lxml 一样,Beautiful Soup 也是python的一个HTML/XML的解析器,用它可以方便的从网页中提取数据lxml 只会局部遍历,而Beautiful Soup 是基于HTML DOM的,会载入整个文档,解析整个DOM树,因此时间和内存开销都会大很多,所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比...原创 2019-09-10 19:19:24 · 680 阅读 · 0 评论 -
pyquery 案例分析+总结
Python网络爬虫神器PyQuery的使用方法前言pyquery库是jQuery的Python实现,能够以jQuery的语法来操作解析 HTML 文档,易用性和解析速度都很好,和它差不多的还有BeautifulSoup,都是用来解析的。相比BeautifulSoup完美翔实的文档,虽然PyQuery库的文档弱爆了, 但是使用起来还是可以的,有些地方用起来很方便简洁。PyQuery库官方文档...原创 2019-09-10 20:00:40 · 297 阅读 · 1 评论 -
python爬虫之多线程、多进程爬虫 总结
python爬虫之多线程、多进程爬虫多任务的介绍什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务。打个比方,你一边看电影,一边聊QQ,一边在用Word赶作业,这就是多任务,这时至少同时有3个任务正在运行。单核CPU如何执行多任务?多核CPU如何执行多任务?真正的并行执行多任务只能在多核CPU上实现,但是,由于任务数量远远多于CPU的核心数量,所以,操作系统也会自动把很多任务...原创 2019-09-11 00:03:12 · 847 阅读 · 0 评论 -
python 进程&多进程&进程池
进程1.什么是进程程序:例如xxx.py这是程序,是一个静态的进程:一个程序运行起来后,代码+用到的资源 称之为进程,它是操作系统分配资源的基本单元。不仅可以通过线程完成多任务,进程也是可以的2.进程的创建如果你打算编写多进程的服务程序,Unix/Linux无疑是正确的选择。由于Windows没有fork调用,难道在Windows上无法用Python编写多进程的程序?由于Python...原创 2019-09-11 20:16:22 · 204 阅读 · 0 评论 -
Scrapy-redis之终结篇
scrapy-redis为什么要用scrapy-redis?Scrapy_redis在scrapy的基础上实现了更多,更强大的功能,具体体现在:reqeust去重,爬虫持久化,和轻松实现分布式,实现一个任务多台服务器执行,大大的提高了效率安装pip3 install scrapy-redis...原创 2019-09-22 14:57:02 · 513 阅读 · 0 评论 -
scrapyd本地部署,远端部署,利用gerapy部署
scrapyd 本地部署scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本pip3 install scrapydscrapyd-client发布爬虫需要使用另一个专用工具,就是将代码打包为EGG文件,其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-cl...原创 2019-09-22 16:12:46 · 791 阅读 · 1 评论