python爬取考研成绩什么时候出来_初试Python爬虫-乌云厂商爬取

在大牛眼里估计连半成品都算不是，但是不管怎么说现在都踏出第一步了。

今天写了按照极客学院的教程写了一个爬取了乌云厂商第一页的URL，本来想和名字一起用正则整理打印出来无奈还不会，只能打印出厂商的URL。

下面是代码：#-*—coding:utf8-*-

import requests

import re

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

send_header = {

"Host" : "www.wooyun.org",

"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0",

"Accept" : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

"Accept-Language" : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',

"Accept-Encoding" : 'gzip, deflate',

"DNT" : "1",

"Cookie" : "__cfduid=d7016b041dec78f976f80c2e5e463385d1449796351; Hm_lvt_c12f88b5c1cd041a732dea597a5ec94c=1451372246,1451373303,1451374029,1451374047; wy_uid=4b3a8BUNfUJv2Qgp1nes4ipbF74Za0M5o5WURbWLWijKrQ; bdshare_firstime=1449982307586; login_type=8519IJNCzxisz%2F4Ekg28oQ3SkqGRFHKercLiZiVy; wy_pwd=ac02U1UNWVBQ77rwK8Mjif%2FFK9sZ8KypDeK3dGwyKHzGdHdo5Q1BLxinhl6RC5Qoo91aFIJ8R70VvlpBKw; PHPSESSID=tj0s59nj8b6maiho32a9f6hpu4; Hm_lpvt_c12f88b5c1cd041a732dea597a5ec94c=1451375666; wy_token=1324d703ad1c52d0e6ccc52b8f14f12e",

"X-Forwarded-For" : "8.8.8.8",

"Connection" : "keep-alive",

"Cache-Control" : "max-age=0",

}

html = requests.get('http://www.wooyun.org/corps/page/1',headers = send_header)

html.encoding = 'utf-8'

print html.text

changshang = re.findall('

for each in changshang:

print each

运行效果：