python爬虫

爬取百度网页，最终获得百度的logo，保存在logo.png中

#python内置库urllib，该库有一个urlopen函数，可以根据url获取HTML文件
from urllib.request import urlopen
#python库BeautifulSoup为工具来解析上面已经获取的HTML。pip install bs4 BeautifulSoup会将HTML内容转换成结构化内容，你只要从结构化标签里面提取数据就OK了
from bs4 import BeautifulSoup as bf
from urllib.request import urlretrieve
#导入urlopen函数，发送请求获得html
html=urlopen("http://www.baidu.com")
obj=bf(html.read(),'html.parser')
#从标签head和title里面提取title
title=obj.head.title
print(title)
#获得HTML是字节，转换成字符串
html_text=bytes.decode(html.read())
#HTML里所有图片信息会在“img”标签里，所以我们通过findAll("img")就可以获取到所有图片的信息
#pic_info=obj.find_all('img')
#有百度首页logo的图片，该图片的class（元素类名）是index-logo-src

logo_pic_info=obj.find_all('img',class_="index-logo-src")
#图片的链接地址在src这个属性里，我们要获取图片链接地址
#提取logo的链接
logo_url="https:"+logo_pic_info[0]['src']
#打印链接
print(logo_url)
#使用urlretrieve下载图片
urlretrieve(logo_url,'logo.png')
#分别打印每个图片的消息
#for i in pic_info:
#    print(i)
#打印HTML的内容
#print(html_text)

爬取其他网页时可能存在的问题：
报错：爬虫报错： 'raise HTTPError(req.full_url, code, msg, hdrs, fp) ’ HTTPError

报错原因：网站存在反爬虫机制，爬虫未进行UA封装，拒绝了爬虫请求。

解决办法

在代码中添加

import urllib.request
openhead=urllib.request.build_opener()
openhead.addheaders = [("User-Agent", "Mozilla/5.0")]
urllib.request.install_opener(openhead)