爬虫实例
丁叔叔
这个作者很懒,什么都没留下…
展开
-
python爬虫(5)实例(1)
# -*- coding: utf-8 -*-# 导入第三方包和模块import requestsfrom bs4 import BeautifulSoupimport os #os是软件自带的,此处用来保存文件夹的功能# 在本地新建一个文件夹,命名为test_img,用以保存下载的图片folder = 'test_img'if not os.path.exists(fol...原创 2019-01-30 09:26:30 · 662 阅读 · 0 评论 -
python爬虫(6)爬虫实例(2)
import urllib.requestimport re# 获取网页的html,与requests包一样的功能def getHtml(url): response = urllib.request.Request(url, headers=header) page = urllib.request.urlopen(response) html = page.r...原创 2019-01-30 09:42:26 · 152 阅读 · 0 评论 -
python爬虫(7)爬虫实例(3)
# -*- coding: utf-8 -*-import requestsimport osfrom lxml import etree# 解析库 XPath# 在本地建立一个文件夹,命名为pic_truck,用于存放下载的图片folder = 'pic_truck'if not os.path.exists(folder): os.makedirs(folder)...原创 2019-01-30 10:32:35 · 578 阅读 · 0 评论 -
python爬虫(8)爬虫实例(4)
# -*- coding: utf-8 -*- from bs4 import BeautifulSoup import requests import time headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gec...原创 2019-01-30 15:46:24 · 197 阅读 · 0 评论 -
python爬虫(9)爬虫实例(5)
案例描述爬取酷狗音乐TOP500榜单所有音乐的排名、歌手及歌曲、时长的信息,并打印出来。代码如下所示。# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport timeheader = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) App...原创 2019-01-30 16:01:41 · 194 阅读 · 0 评论 -
python爬虫(10)爬虫实例(6)
# -*- coding: utf-8 -*-import reimport requestsimport timeheader = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}...原创 2019-01-30 16:19:31 · 163 阅读 · 1 评论 -
python爬虫(5)实例
# -*- coding: utf-8 -*-# 导入第三方包和模块import requestsfrom bs4 import BeautifulSoupimport os# 在本地新建一个文件夹,命名为test_img,用以保存下载的图片folder = 'test_img'if not os.path.exists(folder): os.makedirs(fold...原创 2019-03-04 16:57:54 · 115 阅读 · 0 评论