【第22期】观点:IT 行业加班,到底有没有价值?

Python+MySQL获取PhishTank的钓鱼网站列表作业笔记

原创 2015年11月21日 10:24:45
仔细阅读PhishTank官方网站的开发者文档,了解API调用方法

1.注册账户,创建application并获取app_key

2.根据http://data.phishtank.com/data/<your app key>/online-valid.xml下载数据库导出文件.xml


于是便将问题转化为python解析xml大文件

Then  分别用xml.dom和xml.sax尝试去解析文档,均遇到相同问题:

xml.parsers.expat.ExpatError: not well-formed (invalid token): line 16519, column 83

xml.sax._exceptions.SAXParseException: online-valid.xml:16519:83: not well-formed (invalid token)

显然根据提示我们知道是xml文件中存在非法字符


接下来要解决的问题就是如何处理xml中的非法字符了(开启疯狂BG模式~~~

几番B搜无果,最后在G搜到类似的内容:

 

#!/usr/bin/python
# -*- coding:utf-8 -*-
 
import string
import xml.dom.minidom
 
def parse_xml(file_path):
    """
    Handle xml file with invalid character
    [input] : path of the xml file
    [output] : xml.dom.minidom.Document instance
    """
    try:
        xmldoc = xml.dom.minidom.parse(file_path)
    except:
        f = file(file_path)
        s = f.read()
        f.close()
 
        ss = s.translate(None, string.printable)
        s = s.translate(None, ss)
 
        xmldoc = xml.dom.minidom.parseString(s)
    return xmldoc
 
if __name__ == '__main__':
    pass


以纯文本当时读取文件,然后用字符串来处理,就能得到非法字符完全剔除的的结果了

 

于是作业也就可以愉快的进行下去啦






版权声明:本文为博主原创文章,未经博主允许不得转载。

 

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Python+MySQL获取PhishTank的钓鱼网站列表作业笔记

一、仔细阅读PhishTank官方网站的开发者文档,了解API调用方法 1.注册账户,创建application并获取app_key 2.根据http://data.phishtank.com/dat...

(转自CSDN Dinosoft's Blog)给钓鱼网站骗子一点颜色看看---一个简单的攻击程序

(转自CSDN Dinosoft's Blog)给钓鱼网站骗子一点颜色看看---一个简单的攻击程序 2012年01月01日   群里有人发了一个骗子的链接,不知是被盗号还是怎么。            http://tuisend.china.com//cc/00AOLhttp://p.tl/4P9G   链接在中华网域名下,跟“中国领事馆”的主题配合得很好,能骗到不少2B青年了。   这个tuisend.china.com到底是啥?反正功能是可以提供url转向。猜想是个用来统计的接口什么的吧。“tuisend”?“推送”?   这种东西一看就知道是骗人的,很好奇骗子是

Python PhishTank爬取(钓鱼网站的使用)

最近在使用Python做网络爬虫,涉及到钓鱼网站的一些问题,或者说是使用Python爬取网站遇到的一些问题,Python语言中有很多强大的工具包,非常强大,在这里因为要爬取网页的内容,所以我选择的工具...

《Python基础教程》学习笔记 – Lesson02:列表和元组(转)

原文地址: http://www.cnblogs.com/zero86/archive/2012/11
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)