![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
六月的黑猫
这个作者很懒,什么都没留下…
展开
-
电影爬取案例
本次案例针对的是电影天堂上的电影,爬取所有电影的链接,以及每个链接对应的详情页。整体思路是:封装两个函数,用来获取url,对url进行解析。这个函数用来获取每个页面的URL:def get_detail_url(url): response=requests.get(url,headers=HEADERS) # print(response.encoding)...原创 2019-06-19 17:12:39 · 431 阅读 · 0 评论 -
关于GIL全局解释器
GIL是一个全局解释器锁,保证同一时刻只有一个线程在运行。如图,CPU1其实在不同的线程之间来回切换,比如,前两分钟在线程1,然后保存线程1跑到线程2,然后到线程3,等等。Cpython解释器无法保证内存安全,多个线程的时候,可能出错,因而,引进了GIL,全局解释器锁,保证同一时刻只能有一个线程在运行。那它为什么也高效率呢?因为,在处理IO操作的时候,因为切换线程的时间短,可以忽略...原创 2019-06-19 23:35:21 · 134 阅读 · 0 评论