Python爬取顶级域名（根域名）数据

主框架

---

场景描述

• 数据分析/挖掘过程中，某些场景利用 根域名数据 进行数据筛选 。
• 在利用 Python 处理本地文件。

---

顶级域名数据获取方式

• 方式 1
  
  • Python 2
    
    • urllib2.urlopen() 方法

import pandas as pd
import urllib2
from bs4 import BeautifulSoup

url='https://www.iana.org/domains/root/db'  # IANA 官网
contents=urllib2.urlopen(url).read()  # 1. 获取在线文件流

soup=BeautifulSoup(contents, 'lxml')  # 2. BeautifulSoup

results=[]
for item in soup.find_all(name='span',attrs={'class':'domain tld'}):  # 3. 解析并存储域名数据
    results.append(item.get_text())


df=pd.DataFrame(results, columns=['rzone'])  # 4. 利用 pandas 模块存储至硬盘
df.to_csv('./iana_root_zone.csv', encoding='utf8')

• 方式 2 ( 推荐 )
  
  • Python 3
    
    • requests.get() 方法

import pandas as pd
import requests
from bs4 import BeautifulSoup

results=[]
url='https://www.iana.org/domains/root/db'  # IANA 官网
contents=requests.get(url)  # 1. 获取在线文件流

if contents.status_code == 200:
    soup=BeautifulSoup(contents, 'lxml')  # 2. BeautifulSoup
    for item in soup.find_all(name='span',attrs={'class':'domain tld'}):  # 3. 解析并存储域名数据
        results.append(item.get_text())


df=pd.DataFrame(results, columns=['rzone'])  # 4. 利用 pandas 模块存储至硬盘
df.to_csv('./iana_root_zone.csv', encoding='utf8')

• 方式 3
  
  • 本人在通过程序下载目的文件流时，耗时较多。（应该是网速的问题）
  • 所以，手动下载，利用Python对本地文件进行了解析。
  • 根据自己的喜好选择数据获取方式。

# 关键代码
results=[]
contents=open('./IANA_Root_Zone_Database.html').read()  # 1. 获取在线文件流

soup=BeautifulSoup(contents, 'lxml')  # 2. BeautifulSoup
for item in soup.find_all(name='span',attrs={'class':'domain tld'}):  # 3. 解析并存储域名数据
    results.append(item.get_text())

---

外部链接

• 域名数据下载
• WIKIPEDIA : IANA ( Internet Assigned Numbers Authority )
• Root Zone Database