爬虫时,经常会需要提供User-Agent,如果不提供User-Agent,会导致爬虫在请求网页时,请求失败,所以需要大量User-Agent。如何生成合法的User-Agent?
使用fake-useragent库就可以解决该问题。
安装:cmd命令下输入
C:\Users\lenovo>pip install fake-useragent
Python中from urllib import request和import urlib.request的区别:
Python
from urllib import request
access request directly.
mine = request()
import urllib.request
used as urllib.request
mine = urllib.request()
它们实际上是没有区别的,调用的时候有时候为了方便用上面的第一种方式。
Python里import * 是什么意思?
import adsl,那么代码中调用的时候都是adsl.open()之类的,比如调用adsl中的foo函数(举个栗子):adsl.foo()
而from adsl import * ,可以直接用foo()。