“You don't have permission to access the URL on this server. Sorry for the inconvenience.”解决办法

有些网站，如“简书”网站，直接使用浏览器打开网站的时候正常，但使用Python requests.get(url)这个方法请求接口，会出现以下报错：

<h1>403 Forbidden</h1>
<p>You don't have permission to access the URL on this server. Sorry for the inconvenience.<br/>
Please report this message and include the following information to us.<br/>
Thank you very much!</p>
如下图：

尝试了一些方法，发现原因是我们是直接Get请求数据，而浏览器的请求是有Header的。 基于这一点，把请求伪装成浏览器请求，就可以解决这个问题了。如下图所示：

 下面是收集到常用的headers里的'User-Agent'
User-Agent = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
    'Opera/9.25 (Windows NT 5.1; U; en)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
    "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "
]

扩展阅读：

程序使用一段时间后会遇到HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。 解决这个问题有两种方法。一是将请求加以包装，变成浏览器请求模式，而不再是“赤裸裸”的请求。 但有时服务器是根据同一IP的请求频率来判断的，即使伪装成不同浏览器。由于是同一IP访问，还是会被封。 所以就有了第二种方法，就是降低请求频率。具体说来也有两种方法。一种是在每次请求时暂停短暂时间，从而降低请求频率。 第二种是使用不同的IP进行访问。显然第一种方法不是最佳选择。 因为我们并不希望下载太慢，尤其是在请求次数很多时。当然如果间隔很短时间，从感官上并无差别，如0.1秒。 但对于服务器而言频率就降低了很多。 所以这是一种最安全可靠的办法，尽管我们并不想用它。第二种方法也就是使用代理IP。（https://blog.csdn.net/u011808673/article/details/80609221）