《Python网络爬虫与信息提取》学习笔记1.0

开始前的叨逼叨：
鄙人完全零基础艺术生一枚，一切靠自学，主要目的是希望以后能从事数据运营类工作，文中内容为自己理解整理，烦请路过的各位大神多多指教！

/robots.txt查看robots协议

一、爬取通用框架

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#状态码，200为正常
        r.encoding=r.apparent_encoding#通过内容解析（更加准确）
        return r.text#返回页面内容，r.text[-500]表示爬取内容的最后500个字节
    except:
        return '产生异常'

url='www.baidu.com'
print(getHTMLText(url))

模拟浏览器访问

kv={'user-agent':'Mozilla/5.0'}#在通用框架try下第一行加入此行
#Mozilla5.0代表浏览器
url='www.baidu.com'
r=requests.get(url,headers=kv)
#改变访问header为浏览器

二、爬取图片

#爬取图片全代码
import requests
import os
url='http://image.ngchina.com.cn/2019/0703/20190703043116818.jpg'
root='D://pics//'
path=root+url.split('/')[-1]
try:
    if not os.path.exists(root):#判断当前根目录是否存在
        os.mkdir(root)
    if not os.path.exists(path):#判断当前文件是否存在
        r=requests.get(url)
        with open(path.wb) as f:
            f.write(r.content)#r.content表示将内容以二进制形式爬取
            f.close()#关闭
            print('文件保存成功')
    else:
         print('文件保存失败')
except:
    print('爬取失败')

课程地址：《Python网络爬虫与信息提取》