Python爬虫上手+RE+BS+XPATH

已于 2022-05-16 11:08:30 修改
阅读量454 收藏
点赞数
分类专栏： 大数据扩展知识 文章标签： 爬虫 python
于 2022-05-12 10:36:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43476430/article/details/124713827
版权

目录

一、爬虫基础

1、robots协议

2、http协议

（1）概念

（2）常用的请求头信息

（3） 常用响应头信息

3、https协议

4、加密方式

二、requests模块

1、解释

（1）requests 模块

（2）作用

（3）如何使用（request模块的编码流程）

2、第一个简单爬虫

 3、输入参数，爬取页面搜索结果

4、爬取翻译某个界面的数据

分析 xhr  可以得到

5、爬取电影排行榜信息

6、爬取城市餐厅地址

三、数据解析

1、爬取图片数据，有指定图片url

2、根据re爬取指定信息

3、爬取电影名加迅雷下载地址

4、拿到json数据

5、利用bs批量下载图片

四、xpath解析（重点）

1、前置知识

（1）入门 1

（2）入门2

2、实战

一、爬虫基础

1、robots协议

规定了网站哪些是可爬，哪些不可爬，君子协议

2、http协议

（1）概念

服务器和客户端进行数据交互的一种形式

（2）常用的请求头信息

user-agent：请求载体的身份标识

Connection ：请求完毕后，是断开连接，还是保持连接

（3） 常用响应头信息

connect-type 服务器响应回客户端的数据类型

3、https协议

安全的超文本传输协议

4、加密方式

对称密钥加密

非对称密钥加密

证书密钥加密

二、requests模块

1、解释

（1）requests 模块

Python中，原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

（2）作用

模拟浏览器发请求

（3）如何使用（request模块的编码流程）

-- 指定 URL

-- 发起请求

-- 获取响应数据

-- 持久化存储

2、第一个简单爬虫

"""
爬取首页数据
"""
import requests

# 需要爬取的网页url
url_real = '网址'


# 获取响应对象
def url_request(url):
    return requests.get(url)


# 持久化存储爬取的数据
def storage_request(url):
    response = url_request(url=url)
    with open('test1.html', 'w', encoding='utf-8') as f:
        f.write(response.text)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    storage_request(url_real)

运行结果如下：

 3、输入参数，爬取页面搜索结果

"""
输入参数，爬取搜索的结果页面
此处我们需要伪造UA，否则爬取结果会显示：需要验证码验证

UA：User-Agent (请求载体的身份标识)
UA检测 ：门户网站会检测对应请求的载体身份标识，如果检测到标识是来自某一款浏览器，说明是正常的请求，否则说明不正常（爬虫），则服务器可能会拒绝请求
UA伪装 ：让爬虫对应的请求载体标识伪装成某一款浏览器

"""
import requests


# 获取响应对象
def input_somthing(kw):
    url_real = '网址'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Mobile Safari/537.36'
    }
    param = {
        'query': kw
    }
    return requests.get(url=url_real, params=param, headers=headers)


# 持久化存储爬取的数据
def storage_request(kw):
    response = input_somthing(kw)
    with open('test2.html', 'w', encoding='utf-8') as f:
        f.write(response.text)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    kw = input('输入想要查询的内容：')
    storage_request(kw)

4、爬取翻译某个界面的数据

分析 xhr  可以得到

我们对 url  发起了一个  post请求，携带一个  kw值为dog

返回的是一个json

代码如下

"""
爬取翻译结果，结果为json

"""
import json

import requests


# 获取响应对象
def input_somthing(kw):
    # 需要请求的url网址
    url_real = '网址'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
    }
    # post 请求的参数
    data = {
        'kw': kw
    }
    # 返回请求发送
    return requests.post(url=url_real, data=data, headers=headers)


# 持久化存储爬取的数据
def storage_request(kw):
    response = input_somthing(kw)
    job = response.json()
    # 存储
    with open('test3.json', 'w', encoding='utf-8') as f:
        # ensure_ascii 不使用ASCII码
        json.dump(job, f, indent=4,ensure_ascii=False)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    kw = input('输入想要查询的内容：')
    storage_request(kw)

5、爬取电影排行榜信息

代码如下：

"""
爬取电影排行榜信息

"""
import json
import requests


# 获取响应对象
def get_response():
    # 需要请求的url网址
    url = '网址'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
    }
    # get 请求的参数
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action': '',
        'start': '1',  # 从库中的第几个电影去取
        'limit': '20'  # 一次取得电影的个数
    }
    # 返回请求发送
    return requests.get(url=url, params=param, headers=headers)


# 持久化存储爬取的数据
def storage_request():
    response = get_response()
    job = response.json()
    # 存储
    with open('json/test4.json', 'w', encoding='utf-8') as f:
        # ensure_ascii 不使用ASCII码
        json.dump(job, f, indent=4, ensure_ascii=False)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    storage_request()

6、爬取城市餐厅地址

"""
爬取餐厅地址
"""
import json
import requests


# 获取响应对象
def post_response(kw):
    # 需要请求的url网址
    url = '网址'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
    }
    # get 请求的参数
    param = {
        'cname': '',
        'pid': '',
        'keyword': kw,
        'pageIndex': '1',  # 第几页
        'pageSize': '10'  # 一页几个数据
    }
    # 返回请求发送
    return requests.post(url=url,headers=headers,params=param)


# 持久化存储爬取的数据
def storage_request(kw):
    response = post_response(kw)
    job = response.text
    new_job = json.loads(job)
    # 存储
    with open('json/test5.json', 'w', encoding='utf-8') as f:
        # ensure_ascii 不使用ASCII码
        json.dump(new_job, f, indent=4, ensure_ascii=False)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    kw = input('请输入地名：')
    storage_request(kw)

三、数据解析

1、爬取图片数据，有指定图片url

"""
爬取图片数据
有指定图片url
"""
import requests


# 获取响应对象
def requ_response():
    # 需要请求的url网址
    url = '网址'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
    }
    # 返回请求发送
    return requests.get(url=url, headers=headers)


# 持久化存储爬取的数据
def storage_request():
    # content 存储的是图片二进制文件
    request = requ_response().content
    # 存储
    with open('json/test7.jpg', 'wb') as f:
        f.write(request)
    print("爬虫结束")


# 主程序入口
if __name__ == '__main__':
    storage_request()

2、根据re爬取指定信息

"""
"""
import re

import requests

url = '网址'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
}
# 爬取页面 html 代码
get_response = requests.get(url=url, headers=headers)
page_text = get_response.text

# 解析数据
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">'
                 r'(?P<name>.*?)</span>.*?<p class="">.*?<br>(?P<year>.*?)&nbsp'
                 r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>', re.S)
result = obj.finditer(page_text)
for it in result:
    print('电影名：' + it.group('name') + '；上映时间：' + it.group('year').strip() + '；电影评分：' + it.group('score').strip())
get_response.close()

3、爬取电影名加下载地址

"""
定位到2022必看热片
从2022必看热片中提取子页面的链接地址
请求子页面的链接地址，拿到我们想要的下载地址(下载地址)
"""
import re
import requests
# 爬取的网页主页面
url = '网址'

# 若是爬不到 可在request中添加，不进行安全验证 verify=False
resp = requests.get(url=url)
resp.encoding = 'gb2312'  # 乱码指定字符集
# 拿到主页面的html
page_text = resp.text
# 制定第一次正则，拿取包含电影名和子页面地址的html片段
obj = re.compile('.*2022必看热片</span>.*?<ul>(?P<a>.*?)</ul>', re.S)
result = obj.finditer(page_text)
for it in result:
    # 将拿取的html片段存储在tmp中
    tmp = it.group('a').strip()
# 制定第二次正则，拿取第一次取得html片段中包含的电影名和子页面地址
obj2 = re.compile("<li><a href='(?P<ur>.*?)' title.*?《(?P<name>.*?)》", re.S)
result2 = obj2.finditer(tmp)
for it in result2:
    # tmp = it.group('name') + '  ' + url + it.group('ur')
    # 将拿取得子页面地址片段和地址拼接形成完整的url地址
    url2 = url + it.group('ur')
    # 对子页面地址发起请求，
    res2 = requests.get(url2)
    # 乱码使用解码
    res2.encoding = 'gb2312'
    # 拿取子页面的html
    txt = res2.text
    # 制定第三次正则，拿取子页面中的迅雷下载地址
    obj3 = re.compile('【下载地址】.*?<a href="(?P<pp>magnet.*?)">magnet', re.S)
    last = obj3.finditer(txt)
    for a in last:
        # 打印出 电影名和迅雷下载地址
        print(it.group('name') + '  ' + a.group('pp'))

4、拿到json数据

"""
"""
import json

import requests

url = '网址'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0'
}
params = {
    'limit': "20",
    'current': "1",
    'pubDateStartTime': "",
    'pubDateEndTime': "",
    'prodPcatid': "",
    'prodCatid': "",
    'prodName': ""
}
job = requests.post(url=url, headers=headers, params=params)
a = job.json()
print(json.dumps(a,indent=4,ensure_ascii=False))

5、利用bs批量下载图片

"""
"""
import time

import requests
from bs4 import BeautifulSoup

url = '网址'

res = requests.get(url=url)
res.encoding = 'utf-8'
# 拿到网页源代码
page_text = res.text
# 把源代码交给bs,并说明是html代码
main_page = BeautifulSoup(page_text, 'html.parser')
# find 找一次停止   find_all 一直找到最后
alist = main_page.find('div', class_='swiper-box').find_all('a')
for a in alist:
    # 使用get命令取具体标签值
    # print(url + a.get('href'))
    new_url = url + a.get('href')
    page_text = requests.get(new_url).text
    main_page = BeautifulSoup(page_text, 'html.parser')
    img = main_page.find('section', class_='img-content').find('img')
    # print(blist.get('src'))
    # 下载图片
    # 拿到图片的字节
    img_resp = requests.get(url=img.get('src')).content
    img_name = img.get('src').split('/')[-1]
    print(img_name)
    with open('img/'+img_name, 'wb') as f:
        f.write(img_resp)
    print('1111111111111111111111')

print('over')

四、xpath解析（重点）

1、前置知识

（1）入门 1

xpath 是在XML 文档中搜索内容的一门语言

html 是 xml的一个子集

代码如下：

"""
xpath 爬取
"""
from lxml import etree

xml = """
<book>
    <id>1111</id>
    <nick>aaaaaaa</nick>
    <name>只是当时已惘然</name>
    <price>9.99</price>
    <author>
        <nick>苏轼</nick>
        <nick>柳宗元</nick>
        <div>
            <nick>王安石</nick>
            <div>
                <nick>1111</nick>
            </div>
        </div>
        <div>
            <nick>2222</nick>
        </div>
    </author>
</book>
"""
tree = etree.XML(xml)
# 表示层级关系，第一个/是根节点
result = tree.xpath('/book/name/text()')  # text() 拿文本
result2 = tree.xpath('/book/author/nick/text()')

# 加双斜杠 代表查找下所有的nick（所有后代）
result3 = tree.xpath('/book/author//nick/text()')

# * 代表通配符  任意节点
result4 = tree.xpath('/book/author/*/nick/text()')

# book下所有的nick后代
result5 = tree.xpath('/book//nick/text()')

print(result)
print(result2)
print(result3)
print(result4)
print(result5)

（2）入门2

from lxml import html

tree = html.parse('json/a.html')

# xpath 的顺序是从1 开始数数的,[] 表示索引
result = tree.xpath('/html/body/div/ol/li[1]/text()')

# 取标签中的指定值 如下
result2 = tree.xpath('/html/body/div/ul/li/a[@href="dapao"]/text()')

# 循环打印所有的  li
result3 = tree.xpath('/html/body/div/ul/li')

for li in result3:
    # 从每一个li中提取信息
    result4 = li.xpath('./a/text()')  # 在li中继续寻找
    print(result4)
    # 拿取 标签里的属性值
    result5 = li.xpath('./a/@href')
    print(result5)

# 直接打印
print(tree.xpath('/html/body/div/ol/li[1]/text()'))

2、实战

"""
利用xpath爬取相关信息
"""

import requests
from lxml import etree

url = '网址'

res = requests.get(url)
page_text = res.text

tree = etree.HTML(page_text)

divs = tree.xpath('/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div')

for div in divs:
    # 价格
    price = div.xpath('./div/div/a[2]/div[2]/div[1]/span[1]/text()')[0]
    # 近半年成交数
    num = div.xpath('./div/div/a[2]/div[2]/div[1]/span[2]/text()')[0]
    # title
    title = 'python'.join(div.xpath('./div/div/a[2]/div[2]/div[2]/p/text()'))
    # 位置
    loca = div.xpath('./div/div/a[1]/div[1]/div/span/text()')[0]
    print(loca + '---' + title + '---' + price + '---' + num)

ListenerDMT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
电商网站python爬虫(selenium+xpath+peewee)
06-30
电商网站python爬虫 过程说明： 1. selenium以chromedriver驱动chrome浏览器打开目标站（真浏览器，比curl或requests访问更难被察觉） 2. beautifulsoup4解析结果dom，提取有用字段 3. peewee存结果到数据库 4. 同时...
【网络爬虫】python中的数据解析工具(re,bs4,xpath,pyquery)
星火飞花
10-17 1273
网络数据解析基础工具
网络爬虫数据解析的四种方式之XPath
Jacksqh的博客
12-12 1383
本篇博客是我在学习网络爬虫的数据解析部分时学到的知识点，既是为了巩固自己学习到的知识也是希望能够帮助到有相关学习需求的同学！！
用xpath来爬取网页
叒枅的博客
09-09 4152
标题常见爬取网页时，提取数据的方法有xpath，正则提取，对于json数据使用功能jsonpath进行提取，在scrapy使用css进行提取。 标题在这众多提取方法中这次使用xpath进行模拟我们所面对的数据，进行一般和特殊的数据提取。 网址：https://www.xiazaiba.com/android/app/ 文章以该网站进行xpath提取数据。 一、对于简单的数据来说，可以直接通过检查网页源码，之后进行copy其xpath的路径（提示：7、8成网页可以这样直接提取到） 第一步：鼠标右键，检查网页
python爬虫的xpath、bs4、re方法
xiaojiang0918的博客
10-18 1309
1.re正则表达式 # 正则表达式分析： 找开始和结束标签，两个标签之间把想要的内容需要包含进来，然后依次查找分析。 pat = r'&lt;div class="post floated-thumb"&gt;(.*?)&lt;p class="align-right"&gt;&lt;span class="read-more"&gt;' # 使用findall方法查找符合要求的全部内容，放..
Python爬虫编程实践--re bs及xpath
weixin_41660160的博客
04-23 488
Beautiful Soup库入门 Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。 它基于HTML DOM 的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支...
Python爬虫课程作业，requests+xpath学习
05-08
能学到什么：Python爬虫基础，requests基础，xpath数据提取。 适用人群：软件开发与爬虫学习人群，具有一定的编程技术 使用场景：爬虫学习与研究 阅读建议：此资源在于综合学习Python爬虫技术，不仅是代码编写实现也...
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis
06-08
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，通过...
爬虫系列课+Python技术+爬虫与反爬+基础入门课
最新发布
04-04
系列课程大纲 - Python爬虫技术精通 1. **Python爬虫入门基础** - 1.1 爬虫概念及其工作原理 - 1.2 Python环境搭建与爬虫库介绍 - 1.3 爬虫的合法性与道德规范 2. **网络请求与HTML基础** - 2.1 HTTP协议基础 -...
python+vue实现网站爬虫&数据分析案例
04-19
python_spiders -- 爬虫后台项目 python_spiders_web -- 爬虫前台项目 运行环境 python 3.8.3 + nginx + mysql 项目技术(必填) Python 3.8.3 + flask + vue 2.6.11 + element-ui 2.13.1 + echarts + jquery 依赖包...
2021-04-04 python爬虫自学——bs解析/xpath解析
weixin_45921943的博客
04-04 338
-数据解析的原理： -1.标签定位 -2.提取标签，标签属性中存储的数量的具体值 -bs4数据解析的原理： -1.实例化一个【BeatifulSoup】对象，并且将页面源码数据加载到该对象中 -2.通过调用【BeatifulSoup】对象中相关的属性或者方法进行标签定位和数据提取 -环境安装： -pip install bs4 -pip install lxml(解析器) -如何实例化【BeatifulSoup】对象： -from bs4 import
Python爬虫之bs4与xpath简单理解
apple_73959427的博客
11-23 1190
bs4： bs4对应英文为Beautiful Soup，美丽的汤，不知道为啥取这名。 bs4在使用前需要下载，在终端中使用pip install bs4即可 pip install bs4 bs4用来 从网页里面提取数据，可以导航网页中的数据以及进行搜索与修改分析等。相比xpath简洁明了不少。 bs4自动将输入文档转换为unicode编码，输出文档转换为utf-8编码。 直接上栗子： #导入所需的库 import requests import bs4 #选择要抓取的网页 url =
python爬虫三(bs4，xpath解析)
qq_37623764的博客
04-14 1191
数据解析器： 我们前面都是爬的整个页面。对返回json串的地址我们可以直接json()拿： # 通过json() requetss.get('https://www.sogou.com/websearch/api/getcity').json() 但是如果是返回的是页面不是json数据，就用content.decode(),目前我们只能通过正则来拿取页面中想要的元素值，比如前面拿src2(很多图...
python爬虫-bs4和xpath简单使用
lubuhan的博客
10-18 381
python爬虫-bs4和xpath的简单使用
【Java】XPath简介
别下完这场雪
09-18 5092
XPath简介
爬虫介绍: 爬虫的解析库:Re、BeautifulSoup和Xpath详细介绍
Onion_cy的博客
03-07 1599
爬虫的Re解析库: 在python中就是使用我们之前介绍过的re模块 一 BeautifulSoup模块介绍 简单来说,Beautiful Soup是python的一个库, 最主要的功能时从网页抓取数据, 官方解释如下: Beautiful Soup提供一些简单的, python式的函数用来处理导航, 搜索, 修改分析树等功能. 它是一个工具箱, 通过解析文档为用户提供需要抓取的数据...
python爬虫入门教程(非常详细),超级简单的Python爬虫教程
热门推荐
CSDN_430422的博客
02-16 4万+
爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。
Python 爬虫从入门到入坑全系列教程（详细教程 + 各种实战）
若尘的博客
12-24 6055
爬虫从入门到放弃，持续更新中，欢迎大家订阅！！！
爬虫常用解析库bs4 xpath常见用法
Stillboring的博客
12-30 1289
BeautifSoup4 1.使用标签名定位标签 这种方法只能定位第一个该标签名对应的标签 PS：提取标签内的文本信息 使用标签对象.string或 标签对象.text 两者区别：如果string标签内还有其他的标签，使用string会提取出None，而使用text会将标签内中的全部标签的文本提取出来 ...
python爬虫+基础
12-22
Python爬虫是指使用Python编写的程序，用于自动化地从互联网上获取数据。它可以模拟人的行为，访问网页、提取数据、保存数据等。下面是Python爬虫的基础知识和示例代码： 1. 使用requests库发送HTTP请求获取网页...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值