Python爬取网页数据基本步骤

Python爬取网页数据基本步骤：

1. from urllib import request
   response = request.urlopen(‘完整的网址’)

2. import requests
   import chardet
   url = ‘完整的网址’
   response = requests.get(url)
   response.encoding = chardet.detect(response.content)[‘encoding’]
   # 文本
   html = response.text

3. selenium (动态加载的 网页，就用这个)
   from selenium import webdriver

4. scrapy 框架

----- 提取 内容 ------
一般通过 浏览的控制台，先找 统一结构。然后找父元素
1. 正则表达式
2. beautifulsoup
3. selenium的相关方法
4. xpath

----- 存储 内容 -------
1. txt
2. csv
3. excel
4. mongodb
5. mysql