一、Requests安装及示例
爬虫爬取网页内容首先要获取网页的内容,通过requests库进行获取。
-
GitHub: https://github.com/requests/requests
-
PyPl: https://pypi.python.org/pypi/requests
-
官方文档:http://wwwpython-requests.org
-
中文文档:http://docs.python-requests.org/zh CN/latest
安装
pip install requests
示例代码
import requests
url = "http://store.weigou365.cn"
res = requests.get(url)
res.text
执行效果如下:
二、Selenium库
爬虫爬取网页有时需要模拟网页行为,比如京东、淘宝详情页面,图片加载随着滚动自动加载的。这种情况我们就要进行浏览器模拟操作才能获取要爬取的数据。
Selenium 是一个用于自动化浏览器操作的开源框架,主要用于网页测试,支持多种浏览器包括 Chrome、Firefox、Safari 等。它提供了一系列的API,允许你模拟用户在浏览器中的行为,例如点击按钮、填写表单、导航等。
官方网站: https://sites.google.com/a/chromium.org/chromedriver
114之前版本:http://chromedriver.storage.googleapis.com/index.html
116版本:https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/116.0.5845.96/win64/chromedriver-win64.zip
117之后的版本:https://googlechromelabs.github.io/chrome-for-testing/
安装
pip install selenium
示例代码
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("https://baidu.com/")
print(browser.title)
browser.quit()
三、爬取京东详情页面代码****
from selenium import webdriver
from lxml import etree
import time
import openpyxl
import re
import os
import requests
headers = {'content-type': 'application/json', 'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
def exchange_url(small,big,flag=0):
lists = small[0].strip('/').split('/')
return lists[0] + "/n" + str(flag) + "/" + big[0]
def get_image_path(model=""):
path = "./imgs/" + str(time.strftime("%Y%m%d%H%M", time.localtime()) ) + "/"
if model != "":
path += model
if(os.path.exists(path)):
pass
else:
os.makedirs(path)
return path
def download_img(title,url,headers,model=""):
img_data = requests.get(url,headers=headers).content
filename = url.strip('/').split('/').pop()
if model != "":
filename = model + "_" + filename
img_path = os.path.join(get_image_path(model),filename)
with open(img_path,'wb') as f:
f.write(img_data)
return
def get_source(driver,url):
#发起请求
driver.get(url)
time.sleep(1)
#休息一秒然后操纵滚轮滑到最底部,这时浏览器数据全部加载,返回的源码中是全部数据
driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")
time.sleep(2)
#得到代码
source = driver.page_source
#返回source源码以供解析
return source
def writeExcel(title):
wb = openpyxl.load_workbook("records.xlsx")
ws = wb.active
path = get_image_path()
path = os.path.abspath('.') + path.strip('.')
ws.append([title,path])
wb.save("records.xlsx")
def get_page_title(html):
db_title = html.xpath('//*[@class="itemInfo-wrap"]/div[@class="sku-name"]/text()')
if(len(db_title) == 1):
return db_title[0].replace("\n","").replace('\'',"").replace(" ","")
return db_title[1].replace("\n","").replace('\'',"").replace(" ","")
def get_page_logos(html):
db_logo_items = html.xpath('//*[@id="spec-list"]/ul[@class="lh"]/li')
bigs = mids = []
for db_logo_item in db_logo_items:
db_logo_small = db_logo_item.xpath("img/@src")
db_logo_big = db_logo_item.xpath("img/@data-url")
bigs.append(exchange_url(db_logo_small,db_logo_big))
mids.append(exchange_url(db_logo_small,db_logo_big,1))
return [mids,bigs]
def get_page_content(html):
images = html.xpath('//div[@id="J-detail-content"]/p/img/@href')
#pattern = re.compile(r"background-image:url\(([^)]*)",re.S)
return images
def process(url):
try:
driver = webdriver.Chrome()
driver.implicitly_wait(10)
content = get_source(driver,url)
html = etree.HTML(content)
title = get_page_title(html)
logos = get_page_logos(html)
images = get_page_content(html)
print(title,logos,images)
#记录标题和图片地址
writeExcel(title)
print("write title done!")
#下载中图
for mid_url in logos[0]:
img_url = "http://" + mid_url.replace("http","").replace(":","").replace("//","")
download_img(title,img_url,headers,model="mid")
print("download mid logos done!")
#下载大图
for big_url in logos[1]:
img_url = "http://" + big_url.replace("http","").replace(":","").replace("//","")
download_img(title,img_url,headers,model="big")
print("download big logos done!")
for img_url in images:
img_url = "http://" + img_url.replace("http","").replace(":","").replace("//","")
download_img(title,img_url,headers,model="imgs")
print("download content images done!")
finally:
driver.close()
if __name__ == "__main__":
while(True):
url = input('京东详情页地址(quit退出):')
if(url == "quit"):
break;
process(url)
上面代码保存.py文件。通过下面命令执行
python scrawler.py
执行如下:
下载图片如下:
感兴趣的小伙伴,赠送全套Python学习资料,包含面试题、简历资料等具体看下方。
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了,安装就可直接上手!
三、最新Python学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试宝典
简历模板![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e609d9de17e680ccba27f351612a0860.png#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/80bec1b985c56de89a6e3c1efdcf05ed.png)