python爬虫入门实例

最新推荐文章于 2024-08-26 13:41:43 发布
最新推荐文章于 2024-08-26 13:41:43 发布
阅读量832 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyn_jiang/article/details/114293743
版权

爬虫入门

基础

anaconda管理

activate
conda env list 
activate my-rdkit-env

常用库

在这里插入图片描述

路径

双斜杠转义字符：

savepath = ".\\abc.xls"

HTTP常用的方法

在这里插入图片描述
HTTP与HTTPS的测试网站：

httpbin.org

STEP1:爬取网页

关于response的几种形态

response.text 返回文本（爬网站html）
response.json() 返回的是字典或者列表对象
response.content 返回的是二进制形式的响应数据（爬取图片等）

基于urllib库

获取一个get请求

需要对获取的网页源码进行utf-8的解码

response = urllib.request.urlopen("http://www.baidu.com");
print(response.read().decode("utf-8"));
获取一个post请求

post请求需要本地先提交表单信息：

import urllib.parse;
data = bytes(urllib.parse.urlencode({"a":"b"}),encoding = "utf-8");
response = urllib.request.urlopen("http://www.httpbin.org/post",data = data);
print(response.read().decode("utf-8"));
伪造User-Agent

如果出现https无法解析，换一个python interpreter

import ssl;
url = "https://www.douban.com"
headers = {
	"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
}
req = urllib.request.Request(url=url,headers=headers);
response = urllib.request.urlopen(req);
print(response.read().decode("utf-8"));

基于requests库

requests库更加方便，所以建议采用这个库

爬取sougou.com

在这里插入图片描述

爬取搜狗搜索页面-Get请求

在这里插入图片描述

import sys
import ssl
import urllib
import requests

if __name__ == "__main__":
    # url = "https://www.sogou.com/web?query="
    url = "https://www.sogou.com/web"
    param = {
        'query' : 'red velvet'
    }
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    }
    response = requests.get(url=url,params=param,headers=headers)
    pagetext = response.text

    with open('./sougou.html',"w",encoding="utf-8") as fp: #文件的写操作
        fp.write(pagetext);
    print("yes!");
爬取百度翻译页面-Post请求

在这里插入图片描述

import sys
import ssl
import urllib
import requests
import json

if __name__ == "__main__":
    # url = "https://www.sogou.com/web?query="
    url = "https://fanyi.baidu.com/sug"
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    }
    data = {
        'kw' :'dog'
    }
    response = requests.post(url=url,data=data,headers=headers)
    pagetext = response.json()

    with open('./sougou.html',"w",encoding="utf-8") as fp: #文件的写操作
        json.dump(pagetext,fp);
    print("yes!");
爬取豆瓣电影排行榜-Get请求

在这里插入图片描述在这里插入图片描述

爬取药监局页面
import sys
import ssl
import urllib
import requests
import json
import re
if __name__ == "__main__":
    url = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    }
    for i in range(1,10):
        data = {
            'on': 'true',
            'page': str(i),
            'pageSize': '15',
            'productName': ' ',
            'conditionType': '1',
            'applyname': " ",
            'applysn': " "
        }
        response = requests.post(url=url,headers=headers)
        pagetext = response.json()
        #抓取所有id
        idlist = [];
        for item in pagetext["list"]:
            # print("item:",item);
            idlist.append(item['ID']);

    #获取各个子网页
    pagetexts = []
    sonurl = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById"
    for id in idlist:
        sondata = {
            'id':id
        }
        sonresponse = requests.post(url = sonurl,data=sondata,headers=headers);
        pagetexts.append(sonresponse.json())
    # print(pagetexts)

    with open('./sougou.html',"w",encoding="utf-8") as fp: #文件的写操作
        json.dump(pagetexts,fp);
        # fp.write(pagetext)
    print("yes!");
模拟登陆后爬取
验证码识别

基于线上的打码平台：1. 超级鹰（可以识别12306） 2. 云打码 3. 打码兔

流程：

  1. 对验证码图片进行捕获和识别
    这里用的云打码，打码平台需要将图片先下载到本地再解析，先get请求到图片的src，再下载到本地
page_text = requests.get(url=url,headers=headers).text;

tree = etree.HTML(page_text);
src = "https://so.gushiwen.org" + tree.xpath('')[0]; #观察发现，定位到的src还需加上源地址
#保存图片数据到本地
img_data = requests.get(src,headers=headers).content; 
with open('./code.jpg','wb') as fp:
	fp.write(imgdata);
#调用识别平台的API即可
  1. post请求发送（模拟登陆）
    发现失败，改用session，成功
  2. 验证是否成功/永久存储返回的文件

人人网登陆实例:
在这里插入图片描述
在这里插入图片描述

cookie操作

处理方法：
方式1. (非建议)手动cookie：通过抓包工具获得cookie值，手动封装到headers

headers = {
	'cookie':'XXXX'
}

方式2. 自动cookie：session对象会自动保存产生的cookie

session = requests.Session();
response = session.post(url=aurl,headers=headers,data=data); #session对象请求post，模拟登陆aurl
session.get(url=burl,headers=headers);#获取burl的信息
请求的data里存在动态变化的参数

处理方法：
方式1. 该参数会隐藏在前台页面，例如github的csrf-token参数
方式2. 基于抓包工具全局搜索，找到对应的数据包

梨视频爬取实例：参考该博客
难点1：网站存在反爬机制，需要在头文件里加referer参数
难点2：视频的链接地址是js加载的，需要向其发起get请求得到视频源地址
难点3：视频源地址打不开，需要拼接得到最后的url

import requests
import urllib
import json
import re
import lxml
import os
from lxml import etree
dirname = 'piclib'
if not os.path.exists(dirname):
    os.mkdir(dirname)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",
}

session = requests.Session()
def pa():

    url = "https://www.pearvideo.com/category_130"
    req = session.get(url=url,headers=headers);
    page_text = req.text;
    # print(page_text)

    #xpath获取最热视频的链接
    det_urls = []
    tree = etree.HTML(page_text)
    det_urls = tree.xpath('//div[@class="category-top"]//li//a[@class="vervideo-lilink actplay"]/@href')
    for i in range(0,3):
        det_url = "https://www.pearvideo.com/" + det_urls[i]
        contId = det_urls[i].replace('video_',"");
        # print(det_url)
        # !! Referer参数防反爬
        det_headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",
            "Referer": str(det_url),
        }
        video_page_json = session.get(url = "https://www.pearvideo.com/videoStatus.jsp?contId="+contId,headers=det_headers).json()
        video_url = video_page_json['videoInfo']['videos']['srcUrl']
        # print(video_url)

        suffix = video_url.split('-')[1]
        date = video_url.split('/')[-2]
        new_url = 'https://video.pearvideo.com/mp4/adshort/{}/cont-{}-{}-ad_hd.mp4'.format(date, contId, suffix)
        # return

pa()

STEP2:解析数据

html相关基础

HTML 标签对大小写不敏感。

  • 标题（Heading）是通过<h1>-<h6>等标签进行定义
    <h1> 定义最大的标题，<h6>定义最小的标题。
  • 段落是通过 <p> 标签进行定义
  • 链接是通过 <a> 标签进行定义
  • 图像是通过 <img> 标签进行定义
  • 注释是通过<!-- This is a comment -->进行定义
  • 在不产生一个新段落的情况下进行换行（新行），使用 <br /> 标签

CSS相关基础

  • 可用CSS选择器进行查找
  • 样式表：当浏览器读到样式表时，它将根据样式表中的信息来格式化 HTML 文档。
  1. 外部CSS
    每张 HTML 页面必须在 head 部分的 <link> 元素内包含对外部样式表文件的引用。
    外部样式表可以在任何文本编辑器中编写，并且必须以 .css 扩展名保存。
    外部 .css 文件不应包含任何 HTML 标签。
  2. 内部CSS
    如果一张 HTML 页面拥有唯一的样式，那么可以使用内部样式表。
    内部样式是在 head 部分的 <style> 元素中进行定义。
  3. 行内CSS
    行内样式（也称内联样式）可用于为单个元素应用唯一的样式。
    如需使用行内样式，请将 style 属性添加到相关元素。style 属性可包含任何 CSS 属性。
<!DOCTYPE html>
<html>
<body>

<h1 style="color:blue;text-align:center;">This is a heading</h1>
<p style="color:red;">This is a paragraph.</p>

</body>
</html>
  • 使用 <div> 元素的 HTML 布局
    <div> 元素常用作布局工具，因为能够轻松地通过 CSS 对其进行定位。

解析内容

使用BeautifulSoup定位特定标签
使用正则表达式找到具体内容

标签解析：BeautifulSoup模块

解析原理：
1. 实例化一个beautifulSoup对象，且将待解析的数据加载到该对象中
2. 调用bs对象中相关方法或者属性进行标签定位和文本数据的提取
实例化的方法
1. bs = BeautifulSoup(html,“lxml”);
2. bs = BeautifulSoup(html,“html.parser”);

#提前安装lxml解析器或者parser解析器
file = open("","rb");
html = file.read();
bs = BeautifulSoup(html,"lxml");
# bs = BeautifulSoup(html,"html.parser"); #实例化一个bs对象，且将待解析的数据加载到该对象中
item = bs.find_all("div",class_="item");#调用bs对象中相关方法或者属性进行标签定位和文本数据的提取
  • 打印标签 print(bs.title)
  • 打印标签直系文字内容 print(bs.title.string)
  • 打印标签所有文字内容 XXX.text
  • BeautifulSoup类，打印整个文档
  • 注释，输出无注符号的注释
soup = BeautifulSoup(html,"html.parser");
items = soup.find_all("div",class_="col l4 m6 s12 channel-list-item")
正则提取：re模块

在这里插入图片描述
在这里插入图片描述

import re
response = requests.get('XXXX');
pagetext = response.text;
findimg = r'xxxxxx' 
img_list = re.findall(findimg,pagetext,Re.S) #Re.S忽略换行,返回的是list

findlink = re.compile(r'<a href="(.*?)">'); #查找括号里的内容
findimg = re.compile(r'<img.*src="(.*?)".*/>');
img = re.findall(findimg,item)[0];
findBD = re.compile(r'<p class="">(.*?)</p>',re.S);
BD = re.findall(findBD,item)[0];
XPath

解析原理：
1. 实例化一个etree对象，且将待解析的数据加载到该对象中
2. 调用etree对象中的xpath方法进行标签定位和文本数据的提取
实例化的方法
1. etree.parse(‘filename’) #本地HTML加载
2. etree.HTML(pagetext) #爬取的pagetext加载

from lxml import etree
tree = etree.HTML(pagetext)
tree.xpath('//meta'); #返回的是一个list

在这里插入图片描述

xpath的查询中不可以出现’tbody’标签

#将字符串转化为selector对象
selector = parsel.Selecor(a.html)

#1.选取所有<a>标签
data = selector.xpath("/html/body/div/ul/li/a").extract()

#2.跨节点获取所有<a>标签
data = selector.xpath("//a").extract()

#3.选取当前节点 对选取标签的下一级多次选取
data1 = selector.xpath("//ul") #不用extract 保证data1是个selector对象 还可以继续用xpath方法
data2 = data1.xpath("./li").extract() #会包含所有子节点

#4.选取当前节点的父节点，获取父节点的class属性值
data1 = selector.xpath("//a") 
data2 = data1.xpath("../@class").extract() #会包含所有子节点

#5.获取第三个li标签的 两个方法
data1 = selector.xpath("//li[3]").extract() #标签索引从1开始
data2 = selector.xpath("//li")[2].extract()

#6.通过属性定位标签 获取第三个a标签
data1 = selector.xpath("//a[@href="link3.html"]").extract()

#7.通过属性定位标签 获取第三个a标签包裹的文本内容
data1 = selector.xpath("//a[@href="link3.html"]/text()").extract()

#8.获取第五个<a>标签的href属性值
data1 = selector.xpath("//li[5]/a/@href").extract() #首先定位到该标签然后取他的属性值

# 模糊查询
data = selector.xpath("//li[contains(@class,'it')]").extract();

实例：爬取站长素材的高清图片
内含图片存储路径相关

import requests
import urllib
import json
import re
import lxml
import os
from lxml import etree
dirname = 'piclib'
if not os.path.exists(dirname):
    os.mkdir(dirname)

def pa():
    url = "https://sc.chinaz.com/tupian/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36"
    }
    response = requests.get(url=url,headers=headers)
    response.encoding = 'utf-8'
    tree = etree.HTML(response.text)
    img_list = tree.xpath('//div[@id="container"]/div')

    for img in img_list:
        title = img.xpath('./div/a/@alt')[0]+'.rar' #xpath返回的是列表，加[0]才是字符串形式
        href = "http:"+img.xpath('./div/a/@href')[0]
        # print(title,href)
        detail_response = requests.get(url=href,headers=headers)
        detail_response.encoding = 'utf-8'
        # print(detail_response.text)
        downtree = etree.HTML(detail_response.text)
        downurl = downtree.xpath('//div[@class="downbody"]/div[3]/a[1]/@href')[0]

        print(downurl)
        imgpath = dirname+'/'+title
        urllib.request.urlretrieve(downurl,imgpath)

pa()

STEP4:保存数据

其他

代理IP

、在这里插入图片描述

selenium VS Scrapy

selenium:you can write Python script to control the web brwoser to do some work automatically.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.send_keys("selenium")
elem.send_keys(Keys.RETURN)
assert "Google" in driver.title
driver.close()

Scrapy： Scrapy is a web crawling framework for developer to write code to create spider, which define how a certain site (or a group of sites) will be scraped. Scrapy is implemented using a non-blocking (aka asynchronous) code for concurrency, which makes the spider performance is very great.
Scrapy has built-in support for extracting data from HTML sources using XPath expression and CSS expression.
Which One Should You Choose?
The two Python web scraping frameworks are created to do different jobs. Selenium is only used to automate web browser interaction, Scrapy is used to download HTML, process data and save it.

Scrapy框架

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

crawspider

生成crawspider:

scrapy genspider -t crawl csdn "csdn.cn"

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

scrapy模拟登陆

requests：方法1. 直接携带cookies请求页面 ，方法2. 找接口发送请求存储cookie
selenium： 找对应的input标签，输入文字点击登陆
scrapy:方法1. 直接携带cookie 方法2.找到发送post请求的URL，带上信息，发送请求

lynpupu
关注
python 爬虫入门实例.zip
04-25
Python爬虫，简而言之，就是使用Python编程语言来编写的网络爬虫程序。网络爬虫是一种自动化程序，能够在互联网上自动抓取并提取所需的信息。Python作为一种功能强大且易于学习的编程语言，特别适合用来编写爬虫。...
Python爬虫 商品信息
qq_53336761的博客
03-28 1408
keyword=电脑&enc=utf-8' response = requests.get(url) html = response.text。在本例中，我们要爬取的是京东电脑商品信息，因此我们需要找到京东网站的搜索页面地址：https://search.jd.com/Search?df = pd.DataFrame(data, columns=['名称', '价格', '链接'])df = pd.DataFrame(data, columns=['名称', '价格', '链接'])
最简单的python爬虫案例，适合入门学习
Yuki1127918的博客
07-08 7772
用python从网页爬取数据，网上相关文章很多，但能让零基础初学者轻松上手的却很少。可能是有的作者觉得有些知识点太简单不值得花费精力讲，结果是难者不会会者不难，初学者常常因此而蒙圈。本人也是小白，刚摸索着爬了两个简单的网页数据，经历了初学者易犯的各种糊涂，特总结分享一下，希望能对小白们有用。python爬网络数据，方法很多。不同的python版本、不同的模块、库，对应代码都不同。所以，在看他人代码时，需要搞清代码环境所用的版本和使用的模块库等信息。因为如果环境不同，相同的代码也可能没用。初学者往往看到一篇文
爬虫可以做什么？Python爬虫入门必看保姆级教程！（学习资源+学习路线）
最新发布
2301_78095812的博客
08-26 1826
Python爬虫，也称为Python网络爬虫或网页蜘蛛，是一种使用Python编程语言编写的程序，用于自动地抓取互联网上的信息。这种程序按照预设的规则，模拟浏览器请求站点的行为，从网站上抓取数据并进行分析提取。Python爬虫的工作原理可以大致分为以下几个步骤：1.发起请求：使用Python的HTTP库（如requests库）向目标网站发起请求，发送一个包含请求头、请求体等信息的Request。
分享Python7个爬虫小案例（附源码）
热门推荐
m0_64336780的博客
10-22 13万+
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。
7个经典python爬虫案例代码分享
BlueSocks152的博客
06-10 4万+
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。注：若涉及到版权或隐私问题，请及时联系我删除即可。
Python爬虫案例解析：五个实用案例及代码示例（学习爬虫看这一篇文章就够了）
m0_74942241的博客
10-25 8070
导言： Python爬虫是一种强大的工具，可以帮助我们从网页中抓取数据，并进行各种处理和分析。在本篇博客中，我们将介绍五个实用的Python爬虫案例，并提供相应的代码示例和解析。通过这些案例，读者可以了解如何应用Python爬虫来解决不同的数据获取和处理问题，从而进一步提升爬虫技能。案例一：爬取天气数据代码解析： 在这个案例中，我们使用requests库发送HTTP请求获取天气数据，并将数据保存到CSV文件中。首先，我们发送GET请求获取天气数据的JSON响应。
python 爬虫入门实例.docx
04-25
### Python爬虫基础知识与入门实例详解 #### 一、Python爬虫概述 Python爬虫，是一种利用Python编程语言实现的网络爬虫程序。其主要功能在于自动化地从互联网上抓取所需信息。随着互联网信息量的不断膨胀，如何...
源码10 个 Python 爬虫入门实例
02-24
本篇将详细介绍10个Python爬虫入门实例，涵盖requests库的基本应用，包括get、post、put等HTTP方法的使用，以及如何处理响应对象和传递参数。 首先，确保你已经安装了requests库。如果你还没有安装，可以通过Python...
10个Python爬虫入门实例-new.docx
11-08
本教程通过10个简单实例，帮助初学者掌握Python爬虫的基本技能。以下将详细讲解涉及的知识点： 1. **Web交互原理**：Web交互基于HTTP（超文本传输协议）和HTTPS（安全版的HTTP）。当我们在浏览器中输入URL并按下...
10个python爬虫入门实例(小结)
12-16
总之，Python爬虫入门涉及的主要知识点包括HTTP基础、`requests`库的使用、响应对象的处理以及文件操作。通过实践这些基本的实例，你可以逐步掌握爬虫的基本技能，为进一步深入学习和开发复杂的爬虫项目打下坚实的...
10个Python爬虫入门实例，建议收藏！！（附代码）
Z987421的博客
10-12 3283
需要资料的朋友可以看文末。
10个Python爬虫入门实例
m0_59164304的博客
05-30 1万+
昨天带伙伴们学习python爬虫，准备了几个简单的入门实例，分享给大家。 涉及主要知识点: 1.web是如何交互的 2.requests库的get、post函数的应用 3.response对象的相关函数，属性 4.python文件的打开，保存 代码中给出了注释，并且可以直接运行哦 如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境) windows用户，Linux用户几乎一样: 打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限
白看不如一练！分享10个Python爬虫入门案例
2301_78096295的博客
05-23 834
昨天带伙伴们学习python爬虫，准备了几个简单的入门实例，分享给大家。
10个python爬虫入门实例
2201_75362610的博客
06-19 1692
今天带伙伴萌学习python爬虫，准备了几个简单的入门实例
手把手教你七个Python爬虫入门案列
2301_78165187的博客
05-23 673
本次选取的是某吧中的NBA吧中的一篇帖子,帖子标题是“克莱和哈登，谁历史地位更高”。爬取的目标是帖子里面的回复内容。本次选取的小说网址是某小说网，这里我们选取第一篇小说进行爬取然后通过分析网页源代码分析每章小说的链接找到链接的位置后，我们使用Xpath来进行链接和每一章标题的提取在这里，因为涉及到多次使用requests发送请求，所以这里我们把它封装成一个函数，便于后面的使用每一章的链接获取后，我们开始进入小说章节内容页面进行分析通过网页分析，小说内容都在网页源代码中，属于静态数据。
图解爬虫，用几个最简单的例子带你入门Python爬虫
ZackSock的博客
11-26 9385
一、前言 爬虫一直是Python的一大应用场景，差不多每门语言都可以写爬虫，但是程序员们却独爱Python。之所以偏爱Python就是因为她简洁的语法，我们使用Python可以很简单的写出一个爬虫程序。本篇博客将以Python语言，用几个非常简单的例子带大家入门Python爬虫。 二、网络爬虫 如果把我们的因特网比作一张复杂的蜘蛛网的话，那我们的爬虫就是一个蜘，我们可以让这个蜘蛛在网上任意爬行，在...
18个Python爬虫实战案例（已开源）
欢迎关注公众号：【码农突围】，回复9999，可以获取一份LeetCode刷题笔记
06-26 6万+
目录爬虫小工具文件下载小助手爬虫实战笔趣看小说下载VIP视频下载百度文库文章下载_rev1百度文库文章下载_rev2《帅啊》网帅哥图片下载构建代理IP池《火影忍者》漫画下...
Python网络爬虫入门实例详解
本文将深入探讨Python网络爬虫实例，帮助初学者理解爬虫的基本概念和工作流程。首先，我们明确了爬虫的定义：爬虫是一种自动抓取互联网数据的程序，它在数字化信息时代扮演着重要的角色，常用于数据采集、信息挖掘等...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值