![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python学习
文章平均质量分 87
Shaing_Saying
IT女 数学 python 音乐推荐
展开
-
python2.X和python3.X中的urllib、urllib2,以及Request
1、urllib和urllib2库在python2中的使用Urllib和Urllib2是python2中提供的一个用于操作url的模块,但是提供了不同的功能。在python2中,有urllib库和urllib2库。在python3中,urllib2被合并到urllib库中,在我们爬取网页的时候,经常用到这个库。1.1 urllib2可以接受一个Request类的实例来设置URL请求的headers...原创 2018-05-18 13:36:39 · 4737 阅读 · 0 评论 -
python爬虫使用Cookie的两种方法
场景:当我们以未登录身份使用浏览器访问一个看书的相关网址时,只显示了亚马逊的购买链接。隐藏了书籍的下载链接。但是当我们登录以后,下载链接会显示出来,这样在爬虫的时候,可以把下载链接解析出来使用。登录前后网页Headers-Request Headers显示的Cookie不同。下图为浏览器和Web服务器之间的交互,也显示了Cookie的信息。Cookie的引文原意是“点心”,它是在客户端访问Web服...原创 2018-05-19 18:42:00 · 72993 阅读 · 10 评论 -
python爬虫多进程的使用:multiprocessing
本文通过爬取智联招聘网站上的职位信息等,multiprocessing中引用的即为多进程爬虫。主要是通过引用from multiprocessing import Poolmultiprocessing 是Python自带的一个多进程模块,在此我们使用其中的Pool方法。pool = Pool(processes=2) # 括号内如果为空,程序会自...原创 2018-05-21 09:36:16 · 1382 阅读 · 0 评论 -
在Ubuntu16.04终端创建Scrapy框架
1、在~/PycharmProjects/working/book2/scrapyProject目录下打开终端并输入:scrapy startproject todayMovie2、tree todayMovie: 以树的结构写入:原创 2018-05-21 20:51:27 · 1477 阅读 · 0 评论 -
python 排序代码的实现
快速排序:#!-*-coding:utf-8 -*-#!@time :2018/9/11 16:06#!@Author : shasha#!@File : .pydef quick_sort(qlist): if qlist == []: return [] else: qfirst = qlist[0] qless...原创 2018-09-11 18:58:35 · 790 阅读 · 0 评论