Python3爬虫需要注意的一些东西

Python3后urllib和urllib2合并为urllib
1.urllib.request.urlopen()
2.from bs4 import BeautifulSoup
3.from urllib.parse import urlparse
4.pip install lxml
5.import sqlite3

sqlite3为Python内嵌数据库,几个重要api:
conn = sqlite3.connect(“:memory:”)(存储在内存中)
conn = sqlite3.connect(“xxx.db”)(连接硬盘上存储的数据库文件)
cursor = conn.cursor()
cursor.execute()(用cursor执行各种sql语句)

持续更新~