使用代理ip进行反反爬虫——爬取句子迷网站，获取小说龙族经典句子

这个爬虫实践做了好久了，不定期更新，遭遇了反爬虫，记录一下反反爬过程。

• 爬取不到一会就会被封ip，网站返回403,换个ip就好了，但一样会被封，来不及爬取所有句子。
  

• 参照网上免费代理ip的方式
  不过这个方法爬去下来的proxy拿来访问别的网站可行，但是访问句子迷就403了，估计没有多少个可用的。
  
  在此引用代码，感谢作者。

import requests
import os
from bs4 import BeautifulSoup

headers = {
   'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'http://www.xicidaili.com/nn/1'
s = requests.get(url,headers = headers)
soup = BeautifulSoup(s.text,'lxml')
ips = soup.select('#ip_list tr')
fp = open('host.txt','w')
for i in ips:
    try:
        ipp = i.select('td')
        ip