python基础爬虫代码_python爬虫基础源代码

python爬虫基础源代码

更新时间：2020-05-14 16:03:37 点击次数：384次

1.简单爬取百度网页内容：

爬取百度网页源代码：

1

import requests

r=requests.get("http://www.baidu.com")

r.status_code

r.encoding

r.encoding=r.apparent_encoding

r.text

结果展示：

2.爬取网页的通用代码框架：(这里继续选用百度网页)

爬取网页的通用代码框架

import requests

def getHTMLText(url):

try:

r=requests.get(url,timeout=30)

r.raise_for_status()

r.encoding=r.apparent_encoding

return r.text

except:

return "产生异常"

if __name__ =="__main__":

url="http://www.baidu.com"

print(getHTMLText(url))

爬取结果展示

3.京东商品页面爬取

京东商品页面爬取

import requests

url="http://item.jd.com/2967929.html"

try:

r=requests.get(url)

r.raise_for_status()

r.encoding=r.apparent_encoding

print(r.text[:1000])

except:

print("爬取失败")

爬取结果展示：

4.亚马逊商品页面的爬取

亚马逊商品爬取源代码

import requests

url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"

try:

kv={'user-agent':'Mozilla/5.0'}

r=requests.get(url,headers=kv)

r.raise_for_status()

r.encoding=r.apparent_encoding

print(r.text[1000:2000])

except:

print("爬取失败")

结果展示:

5.百度搜索全代码

百度搜索全代码

import requests

keyword="Python"

try:

kv={'wd':'keyword'}

r=requests.get("http://www.baidu.com/s",params=kv)

print(r.request.url)

r.raise_for_status()

print(len(r.text))

except:

print("爬取失败！")

结果展示：

6.360搜索全代码

360搜素全代码

import requests

keyword="Python"

try:

kv={'q':keyword}

r=requests.get("http://www.so.com/s",params=kv)

print(r.request.url)

r.raise_for_status()

print(len(r.text))

except:

print("爬取失败")

结果展示：

7. 图片爬取全代码：

爬取高清图片源代码

import requests

import os

url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"

root="D://pics//"

path=root+url.split('/')[-1]

try:

if not os.path.exists(root):

os.mkdir(root)

if not os.path.exists(path):

r=requests.get(url)

with open(path,'wb') as f:

f.write(r.content)

f.close()

print("文件保存成功")

else:

print("文件爬取失败")

except:

print("爬取失败")

8.用requests库获取源代码：

获取源代码

import requests

r=requests.get("http://python123.io/ws/demo.html")

r.text

demo=r.text

from bs4 import BeautifulSoup

soup=BeautifulSoup(demo,"html.parser")

print(soup.prettify())

soup.title

爬取结果显示：

本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责，本站只提供参考并不构成任何投资及应用建议。本站是一个个人学习交流的平台，网站上部分文章为转载，并不用于任何商业目的，我们已经尽可能的对作者和来源进行了通告，但是能力有限或疏忽，造成漏登，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。