Python PhishTank爬取(钓鱼网站的使用)

    最近在使用Python做网络爬虫，涉及到钓鱼网站的一些问题，或者说是使用Python爬取网站遇到的一些问题，Python语言中有很多强大的工具包，非常强大，在这里因为要爬取网页的内容，所以我选择的工具包为BeautifulSoup，一款强大的网页解析包。

   1 爬取网页内容   

    page = urllib2.urlopen(url)
    contents = page.read()
    print(contents)

      url 就是你爬取得网页地址：比如www.baidu.com

      contents就是你爬取得网页的内容也就是网页源代码，以上三行代码就可以完成一个网页的爬取，很简单，通常来说很多网页都可以用这种方法来爬取，但是有时因为遇到网页屏蔽，这个就不行了。最近我在爬取PhishTank这个网址时，就遇到了这个问题，如下图：

解决方法通常有很多种：1 添加http请求头的内容 ；2 使用相关网站的API

在此我使用的是网站的API,以PhishTank网站做例子，在看了网站上的相关文档后，注册获得App key,根据开发文档，获得想要的内容------网站上所有的钓鱼网站的url

1 根据PhishTank网站的开发文档 url 应该写 

http://data.phishtank.com/data/8bf7ccdbfb3eb4ad75996fe1d616efc4406f321cba361844b88402f3ee01c8cd/online-valid.csv

2  为了方便管理，我们把这些得到的url写入文件

    page = urllib2.urlopen(url)
    contents = page.read()
    print(contents)
    f = file("Content.txt" ,"w+" )
    f.write(contents)

以上两步后，就能把PhishTank网站上的所有钓鱼网站的URL写入到文件中了。

3 获得这些URL所对应的网页内容

需要注意两点 3.1 有些URL对应的网页内容已经没有了，也就是404，3.2还有一些URL对应的网页内容是不安全的，3.3会遇到请求超时的问题，我们用异常捕获来排除所有的问题，代码如下：

def getContent():
    #获得url所对应的内容,并进行异常的捕获
    i = 0
    url = open("TestUrl.txt")
    next(url)
    for urlcontent in url:
        try :
          #在获取远程网页内容时会遇到的卡死现象，也就是说如果请求的页面很久没有做出相应，那么
          #Python就会一直处于等待过程，会一直停在page.read()这条语句上，所以要设置超时处理
          page = urllib2.urlopen(urlcontent,timeout=5)
          i += 1
          contents = page.read()
          f = file("TestContent"+str(i)+".txt"  , "w+")
          f.write(contents)
          print(i)
          
        except  Exception,ex:
            print("404 or time out")
                      
  

以上代码我们会把url所对应的内容写入到各自文件中。
以上就是我现在做的一些工作，对于数据的搜集。