python爬虫基础源代码

1.简单爬取百度网页内容：

爬取百度网页源代码：

import requests
r=requests.get("http://www.baidu.com")
r.status_code
r.encoding
r.encoding=r.apparent_encoding
r.text

结果展示：

2.爬取网页的通用代码框架：（这里继续选用百度网页）

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ =="__main__":
    url="http://www.baidu.com"
    print(getHTMLText(url))

爬取结果展示

3.京东商品页面爬取

京东商品页面爬取