![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
-----python爬虫
GeekLeee
这个作者很懒,什么都没留下…
展开
-
urllib和urllib2的区别和使用
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。他们两个最显著的差异如下:urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。这意味着,你不能伪装你的用户代理字符串等。 urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有原创 2016-10-10 13:11:12 · 5834 阅读 · 0 评论 -
爬取本地网页评分大于3的代码
from bs4 import BeautifulSoupinfo =[]with open('D:/BaiduYunDownload/Python实战::四周实现爬虫系统/课程资料/课程源码及作业参考答案/week1/1_2/1_2code_of_video/web/new_index.html', 'r') as some_data: Soup = BeautifulSoup(some_原创 2016-10-02 10:46:35 · 747 阅读 · 0 评论 -
爬虫:猫途鹰网站
from bs4 import BeautifulSoupimport requestsurl = 'http://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html'wb_data = requests.get(url)#用wb_data储存从网站得到的responsesoup = Bea原创 2016-10-02 11:27:58 · 2992 阅读 · 0 评论 -
Python urllib模块urlopen()【打开网站,写入本地文件】与urlretrieve()【直接下载网站文件到本地】
1.urlopen()方法 urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。 参数url表示远程数据的路径,一般是网址; 参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式:post与get。如果你不清楚,也不必太在意,一般情况下很少用原创 2016-10-20 16:05:06 · 8546 阅读 · 0 评论