爬虫基本使用

文章目录

• 前言
• 一、引入库
• 二、使用步骤
• 总结

---

前言

爬虫的基本使用

---

一、引入库

（1）requests引入。

import requests

（2）BeautifulSoup的引入。

from bs4 import BeautifulSoup

（3）urllib.request的引入。

import urllib.request

（4）xpath的导入

from lxml import etree

二、使用步骤

• requests的使用：

(1)简单的使用：

    url = 'https://www.sogou.com/' //目标url
    response = requests.get(url=url) //获取
    page_text = response.text   //获取页面文本
    print(page_text)
    with open('