爬虫初级一

本部分参考：MOOC课程：嵩天

主要内容：爬虫获取html格式的简单方法

1.爬虫的基础

2.爬虫的最简单框架

import requests

try:

    r = requests.get("https://baidu.com")

    r.encoding = r.apparent_encoding
    print(r.text)
except:

    print("爬取失败")

但是，我们知道，有些网站是会查看你的user agent，如果你不是浏览器，就会阻止你访问。

解决方法：

import requests
url = "某网址"
try:
    kv = {"user-Agent":'Mozilla/5.0'}
    r = requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

3.爬虫的五个简单实例

1.模拟百度搜索

# 百度搜索
import requests
keyword = input('输入搜索关键字：')
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

2.IP地址查询

# IP地址
import requests
url = "http://m.ip138.com/ip.asp?ip="
adr = input('请输入类似202.205.80.112的地址：')
try:
    r = requests.get(url+adr)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500: ])
except:
    print("爬取失败")

3.图片爬取

# 定向获取图片
import requests
import os
url = "http://zsw.bjtu.edu.cn/data/upload/ueditor/20160511/5732dd92e02cf.jpg"
root = "E://markdown//"
path = root+url.split('/')[-1]  # 这里的path不能和root一样
if not os.path.exists(root):
    os.mkdir(root)
r = requests.get(url)
with open(path,'wb') as f:
    f.write(r.content)
    f.close()
    print('图片爬取成功')