Python——网络爬虫抓取有道词典

今天我们来谈谈python的网络爬虫抓取有道词典

抓取有道词典之前，我们需要对有道词典的网页进行分析，在这里我们需要得到有道网页的请求网址，这里的状态码显示200即为表示正常访问。

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

 

 在请求头的地方我们可以看到'User-Agent' 这里表示的是我们使用什么来访问有道的网页，有些网页可能会禁止python的访问防止服务器崩溃，但这个时候我们只需要在自己的代码里面增加'User-Agent'就可以对浏览器进行欺骗。