python爬虫
六尘
stay hungry,stay foolish
展开
-
Python爬虫实例一
实例要求: 爬取小猪短租的房源链接以及每条房源链接的详情 详情爬取信息要求如下图: 爬取代码如下:from bs4 import BeautifulSoupimport requestsimport timeurls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,14原创 2016-09-19 15:29:43 · 766 阅读 · 0 评论 -
Python爬虫实例二
实例要求:爬取网站图片并且将图片下载下来 原本是下这个网站的图片: http://weheartit.com/inspirations/taylorswift 然而,网速感人,实在是下不下来,因此换成了knewone网站: https://knewone.com/discover下载前十页,这十页并非普通翻页,而是通过异步加载实现下拉显示页面,所以本例重点是异步加载数据的爬取。 爬去代码如原创 2016-09-19 18:08:37 · 440 阅读 · 0 评论 -
Python爬虫实例三
实例要求: 爬取58同城10页的商品链接,以及链接网页的商品详细信息,如下图: 存在的问题: 1.如图: categories = soup.select('span.crb_i > a')list(categories[2].stripped_strings)2.有的有原价,有的无,即某一个标签不一定总是存在,所以需要判断: list(primecosts[0].stripped_原创 2016-09-22 20:44:22 · 510 阅读 · 0 评论