Python
星辰学院
xingchenxueyuan.com
展开
-
爬虫简单架构
爬虫基础概念及作用1.爬虫:一段自动抓取互联网信息的程序。2.作用:信息为我所用。简单爬虫架构1.2.URL管理器:管理待抓取url集合和已抓取的URL集合如果不对这些URL进行管理,就有可能出现重复抓取和循环抓取的情况,最严重的情况,如果两个URL相互指向,会发现我们的爬虫一直在循环不断的抓取这两个URL,便会出现死循环转载 2016-02-21 18:21:09 · 614 阅读 · 0 评论 -
urllib2的简单教程
urllib2的基本用法,教程原创 2016-02-21 12:50:46 · 714 阅读 · 0 评论 -
Beautiful Soup的用法
Beautiful Soup教程转载 2016-02-21 17:17:35 · 695 阅读 · 0 评论 -
Python多线程总结
0、有资源就用多进程,其次,IO密集用多线程也可以。1、Python多线程是假的多线程。2、全局解释器锁(GIL)Python代码的执行由Python虚拟机(解释器)来控制。Python在设计之初就考虑要在主循环中,同时只有一个线程在执行,就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,但任意时刻,只有一个程序在CPU中运行。同样地,虽然Python解释器可以运行多个线程,只有一个线...原创 2018-05-04 11:35:56 · 216 阅读 · 0 评论 -
Python协程
https://blog.csdn.net/andybegin/article/details/77884645转载 2018-05-04 11:36:13 · 196 阅读 · 0 评论