Python3.0

爬虫运用的模块

#请求响应

import requests

import re

 

#解析文本

from bs4 import BeautifulSoup as  XX

from lxml import etree

import urllib.parse(等价于之前版本的 import urlparse)

数据存储

import json

       json.dump()                   json.load()

      json.dumps()                   json.loads()

import csv

      csv.writer()                    csv.reader()

      csv.writerow()               csv.writeeows()

文件流

import codecs

codecs.open()

#python 默认为ASCII码，此模块可以输入utf-8编码