python爬虫——网页的简单爬取

python网页爬取通用框架

import requests
def getHTMLText(url):
     try:
         r = request.get(url,timout=30)
         r.raise_for_status() #如果状态不是200，则引发HTTPerror异常
         r.encoding=r.apparent_encoding #转码
         return r.text
    except:
         return "出现异常"
 
 if __main__="__main__":
        url = "www.baidu.com"
        print(getHTMLText)

网络页面爬取实例

京东页面爬取实例

import requests
url="https://item.jd.com/56647977344.html"  #京东商品的网页连接
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])  #输出前1000行的内容
except:
    print("爬取失败")

亚马逊网站的页面爬取

亚马逊网站禁止python-requests的访问爬取，因此需要修改头部信息将’user-agent’修改成’Mozilla/5.0’

import requests
url="https://www.amazon.cn/dp/B015P0A53Q?smid=A2EDK7H33M5FFG&ref_=Oct_CBBBCard_dsk_asin4&pf_rd_r=CABV255AWH29S8SNHFGQ&pf_rd_p=5a0738df-7719-4914-81ee-278221dce082&pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-3"
try:
    kv={'user-agent':'Mozilla/5.0'}   #修改头部信息
    r=requests.get(url,headers=kv)   #令头部信息等于kv
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000]) #输出前1000行的代码
except:
    print("爬取失败")

百度360关键词提交

搜索引擎关键词提交接口，本人也不是十分清楚这个搜素接口如何查找，如果有高手请指正
百度的关键词接口：
http://www.baidu.com/s?wd=keyword
360的关键词接口：
http://www.so.com/s?q=keyword

import requests
keyword="python"
try:
    kv={'wd': keyword}
    r=requests.get("http://www.baidu.com/s", params=kv)
    print(r.request.url)      #输出得到的搜索连接
    r.raise_for_status()
    print(len(r.text))        #输出词条数量
except:
    print("爬取异常")

网络图片爬取和存储

选择一个图片web页面：
http://www.nationalgeographic.com.cn/photography/photo_of_the_day/3921.html

import requests
import os
url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root="C://users//Changnie//Documents//study//"
path=root+url.split('/')[-1] #root和url之间用/进行分隔
try:
    if not os.path.exists(root):   #判断root是否存在，若不存在则创建一个
        os.mkdir(root) 
    if not os.path.exists(path):
       r=requests.get(url)
       with open(path,'wb') as f:
           f.write(r.content)
           f.close()
           print("文件保存成功")
     else:
       print("文件保存失败")
except:
    print("爬取失败")

IP地址查询的全代码

import requests
url="http://m.ip138.com/ip.asp?ip="
try:
   r=requests.get(url+'202.204.80.112')
   r.raise_for_status()
   r.encoding=r.apparent_encoding
   print(r.text[-500：])
except:
   print("爬取失败")