python输出结果存到文件拒绝访问_Python中的Scraper给出了“拒绝访问”

到现在为止我使用这段代码：

import bs4

import requests

def extract_source(url):

source=requests.get(url).text

return source

def extract_data(source):

soup=bs4.BeautifulSoup(source)

names=soup.findAll('title')

for i in names:

print i

extract_data(extract_source('https://www.justdial.com/Panipat/Saree-Retailers/nct-10420585'))

但是当我执行这段代码时,它给了我一个错误：

Access Denied

我该怎么做才能解决这个问题？

解决方法:

正如评论中提到的,您需要指定允许的用户代理并将其作为标头传递：

def extract_source(url):

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}

source=requests.get(url, headers=headers).text

return source

标签：python,python-requests,beautifulsoup