用Scrapy爬取Domain认证的内网数据比如SharePoint

用Scrapy爬取Domain认证的内网数据

只要是浏览器里面能够访问的东西，理论上都可以被爬虫爬取。有了这个信念，基本上所有问题就解决一半啦，笑~

公司内部网络通常都是由域控制器统一做安全登录认证，这对于window系的公司尤为常见。通常爬取内网Domain服务器认证的内部网站，基本都会返回401错误，这就是告诉我们没有通过服务器的认证检验。
那么怎么做呢？

安装requests-ntlm认证组件

你需要pip安装requests-ntlm，这个东西可以帮你完成内网的Request认证。
安装完成之后记得在ipython里面测试一下基本的访问情况：

import requests
from requests_ntlm import HttpNtlmAuth

requests.get("http://internal_protected_site.com",auth=HttpNtlmAuth(