python的web抓取_用Python进行Web抓取

我把我的网络抓取工作中的脚本收集到这里位桶库.

您的案例的示例脚本：from webscraping import download, xpath

D = download.Download()html = D.get('http://example.com')for row in xpath.search(html, '//table[@class="spad"]/tbody/tr'):

cols = xpath.search(row, '/td')

print 'Sunrise: %s, Sunset: %s' % (cols[1], cols[2])

产出：Sunrise: 08:39, Sunset: 16:08Sunrise: 08:39, Sunset: 16:09Sunrise: 08:39, Sunset: 16:

10Sunrise: 08:40, Sunset: 16:10Sunrise: 08:40, Sunset: 16:11Sunrise: 08:40, Sunset: 16:12Sunrise: 08:40, Sunset: 16:13