在大牛眼里估计连半成品都算不是，但是不管怎么说现在都踏出第一步了。

今天写了按照极客学院的教程写了一个爬取了乌云厂商第一页的URL，本来想和名字一起用正则整理打印出来无奈还不会，只能打印出厂商的URL。

下面是代码：

#-*—coding:utf8-*-
import requests
import re

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

send_header = {
"Host" : "www.wooyun.org",
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0",
"Accept" : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
"Accept-Language" : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
"Accept-Encoding" : 'gzip, deflate',
"DNT" : "1",
"Cookie" : "__cfduid=d7016b041dec78f976f80c2e5e463385d1449796351; Hm_lvt_c12f88b5c1cd041a732dea597a5ec94c=1451372246,1451373303,1451374029,1451374047; wy_uid=4b3a8BUNfUJv2Qgp1nes4ipbF74Za0M5o5WURbWLWijKrQ; bdshare_firstime=1449982307586; login_type=8519IJNCzxisz%2F4Ekg28oQ3SkqGRFHKercLiZiVy; wy_pwd=ac02U1UNWVBQ77rwK8Mjif%2FFK9sZ8KypDeK3dGwyKHzGdHdo5Q1BLxinhl6RC5Qoo91aFIJ8R70VvlpBKw; PHPSESSID=tj0s59nj8b6maiho32a9f6hpu4; Hm_lpvt_c12f88b5c1cd041a732dea597a5ec94c=1451375666; wy_token=1324d703ad1c52d0e6ccc52b8f14f12e",
"X-Forwarded-For" : "8.8.8.8",
"Connection" : "keep-alive",
"Cache-Control" : "max-age=0",
}

html = requests.get('http://www.wooyun.org/corps/page/1',headers = send_header)
html.encoding = 'utf-8'
print html.text

changshang = re.findall('<a rel="nofollow" href="(.*?)"',html.text,re.S)
for each in changshang:
     print each


运行效果：

wKiom1aCr8Hi6DrTAACsnUScmI0616.png