爬虫入门程序: 简单查看网页的内容。
问题描述
运行结果是没有问题的!但是不会出现结果!
import requests
import bs4
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text, "html.parser")#指定的解析器
targets = soup.find_all("div", class_="hd")
for each in targets:
print(each.a.span.text)
先打印一下req,发现结果是<Response [418]>
print(res)
这是因为现在很多网站都有反**机制,需要在代码前面添加headers,或者在requests的时候加headers(我用的就是这种)
注意:有时候只加UA可能还不够,视情况添加其他的headers的内容。
解决办法:
import requests
import bs4
res=requests.get('https://movie.douban.com/top250',headers={'user-agent':'Mozilla/5.0'})
print(res)
soup = bs4.BeautifulSoup(res.text, "html.parser")#指定的解析器
targets = soup.find_all("div", class_="hd")
for each in targets:
print(each.a.span.text)
print('*')
查看运行结果
运行成功!