【无标题】

最新推荐文章于 2024-08-21 16:56:45 发布
最新推荐文章于 2024-08-21 16:56:45 发布
阅读量274 收藏
点赞数
分类专栏： python爬虫 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57818853/article/details/127255476
版权

（全部代码在最后，学自“我的IT私塾”）

什么是爬虫

  • 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析，已经成为如今主流的爬取策略。
  • 爬虫的本质就是模拟浏览器打开网页，获取网页中我们想要的那部分数据。

基本流程

  • 准备工作：通过浏览器查看分析目标网页，学习编程基础规范。
  • 获取数据：通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个response，便是所要获取的页面内容。
  • 解析内容：得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析。
  • 保存数据：保存形式多种多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

编码规范

  • 一般python程序第一行需要加入：#-*- coding:utf-8 -*-或者#coding = utf-8，这样可以在代码中包含中文

  • 在Python中，使用函数实现单一功能或相关功能的代码段，可以提高可读性和代码重复利用率，函数代码块以def关键词开头，后接空格、函数标识符名称、圆括号、冒号，括号中可以传入参数，函数段缩进，return用于结束函数，可以返回一个值，也可以不带任何表达式（表示返回None）

  • Python文件中可以加入main函数用于测试程序：
    if__name__ == “__main__”:

  • Python使用#添加注释，说明代码段作用

引入模块

  • 模块（module）：用来从逻辑上组织Python代码（变量、函数、类），本质就是py文件，提高代码的可维护性。Python使用import来导入模块。
  • 下方terminal选项，进入控制台，输入pip install xxx(需要引入的包)
    在这里插入图片描述 在这里插入图片描述

urllib库 获取数据

  • 通过urllib库，模仿浏览器向网页发送请求，并获取网页返回的响应数据
import urllib.request,urllib.parse
#获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8"))  #对获取到的网页源码进行utf-8解码
#获取一个post请求
import urllib.parse
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding='utf-8')
response1 = urllib.request.urlopen("http://httpbin.org/post",data)
print(response1.read().decode('utf-8'))
#超时处理
try:
    response2 = urllib.request.urlopen('http://httpbin.org/get',timeout=0.01)
    print(response2.read().decode('utf-8'))
except urllib.error.URLError:
    print('超时了！')
#获取信息
response3 = urllib.request.urlopen('http://www.baidu.com')
print(response3.status)#状态码
print(response3.getheaders())#获取所有响应头
print(response3.getheader("Date"))#获取响应头中特定信息

    
    

    
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
import urllib.request,urllib.parse
#不想被人发现是爬虫，伪装成浏览器
url = 'http://httpbin.org/post'
data = bytes(urllib.parse.urlencode({'name':'tom'}),encoding='utf-8')
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}
req = urllib.request.Request(url=url,data=data,headers=headers,method='POST')
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

    
    

    
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
import urllib.request,urllib.parse
#访问豆瓣
url = 'https://movie.douban.com/top250'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}
req = urllib.request.Request(url=url,headers=headers,method='GET')
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

    
    

    
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

数据解析

BeautifulSoup4相关介绍

  • 对网页返回的响应信息进行解析，用到BeautifulSoup4库，BeautifulSoup4将复杂的html文档转化成一个复杂的树形结构，每一个节点都是Python对象，所有对象可以归纳为4种：
  • 1、Tag：html中的标签
  • 2、NavigableString：标签里的内容（字符串）
  • 3、BeautifulSoup：表示整个文档
  • 4、Comment：注释
'''
BeautifulSoup4将复杂的html文档转化成一个复杂的树形结构，每一个节点都是Python对象，所有对象可以归纳为4种
-- Tag
-- NavigableString
-- BeautifulSoup
-- Comment
'''
from bs4 import BeautifulSoup
import lxml
import urllib
file = open('./baidu.html',encoding='UTF-8')
html = file.read()
bs = BeautifulSoup(html,'lxml')#或者以html.parser的方式

#1、Tag：html中的标签
print(bs.title) #获取第一个title标签:<title>百度一下，你就知道</title>
print(bs.a) #获取第一个a标签
print(bs.findAll(‘a’))#获取所有a标签
print(type(bs.head))#<class ‘bs4.element.Tag’>

#2、NavigableString：标签里的内容（字符串）
print(bs.title.string)#第一个title标签里的内容：百度一下，你就知道

#3、标签的属性值
print(bs.a.attrs)#以字典的形式，存储第一个a标签的所有属性：{‘class’: [‘mnav’], ‘href’: ’ ', ‘name’: ‘tj_trnews’}

#4、BeautifulSoup：表示整个文档
print(type(bs)) #<class ‘bs4.BeautifulSoup’>
print(bs) #输出整个文档

#5、Comment：注释
print(bs.a.string)#输出音乐1，会自动将注释符号取消
print(type(bs.a.string))#<class ‘bs4.element.Comment’>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34

文档遍历

#文档的遍历
print(bs.head.contents)#以列表的形式输出head标签里的所有子标签
print(bs.head.contents[1])
#更多内容搜索BeautifulSoup文档
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文档搜索


#文档的搜索

#1、find_all方法
print(bs.find_all(‘a’))#字符串匹配标签，字符串内容必须与标签完全一致。以列表的形式，返回所有a标签

import re
#2、正则表达式搜索：testRe细讲
list = bs.find_all(re.compile(‘a’))#以列表的形式，返回所有标签中含字符串a的标签。
print(list)

#3、传入一个函数，根据函数的要求来搜索
def name_is_exists(tag):
return tag.has_attr(“name”) #返回含有name属性的标签

list1 = bs.find_all(name_is_exists)#不传参，则默认把上一个方法（bs.find_all）的返回值传入参数

#4、kwargs参数

list2 = bs.find_all(id=‘head’)#通过参数id来进行搜索
list3 = bs.find_all(class_=True)#通过有没有class属性来进行搜索

#5、text参数
list4 = bs.find_all(text=“hao123”)#输出[‘hao123’]
list5 = bs.find_all(text=[“hao123”,“地图”,“贴吧”])#输出[‘hao123’, ‘地图’, ‘贴吧’]

#6、limit参数
list6 = bs.find_all(‘a’,limit=3) #limit限制数量，输出前3条
print(list6)

#7、CSS选择器
print(bs.select(‘title’))#通过标签、id等来查找
print(bs.select(‘.mnav’))#通过class来查找,前面加个‘.’
print(bs.select(‘#head’))#通过id来查找,前面加个‘#’
print(bs.select(‘a[class=“bri”]’))#用中括号来指定标签属性，外面用单引号的话里面用双引号，外面用双引号的话，里面用单引号
print(bs.select(‘head > title’)) #通过子标签来查找，找到head标签中的title标签
list7 = bs.select(“.mnav ~ .bri”)#通过兄弟节点来查找，查找与class=mnav同级的class=bri的标签
print(list7[0].get_text())#获取单纯的文本内容

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38

re库 正则表达式补充

  • 正则表达式常用操作规则如下，也可以百度搜索正则表达式大全，手动获取需要的正则表达式模板
    在这里插入图片描述
    在这里插入图片描述
  • 使用正则表达式，需要引入re库
    在这里插入图片描述
    在这里插入图片描述
  • 常用演示：
import re

#创建模式对象
pat = re.compile(“AA”) #此处的AA是正则表达式，用来验证其他字符串
m = pat.search(“CBA”) #search内的字符是被校验的内容
print(m)#None
n = pat.search(“asjkhgAAasdnjAA”)
print(n)#输出：<re.Match object; span=(6, 8), match=‘AA’>，只搜索第一个，span左闭右开

#不创建模式对象
x = re.search(“AA”,“AJKAADSD”) #省去创建验证模板，第一个参数即为模板，第二个参数为被验证内容
print(x) #<re.Match object; span=(3, 5), match=‘AA’>

#前面字符串是规则（正则表达式），后面是被校验的字符串
print(re.findall(“a”,‘akjgakjga’))#输出[‘a’, ‘a’, ‘a’]
print(re.findall(‘[A-Z]’,‘AUhjkjbAJBd’))#输出[‘A’, ‘U’, ‘A’, ‘J’, ‘B’]
print(re.findall(‘[A-Z]+’,‘AUhjkjbAJBd’))#输出[‘AU’, ‘AJB’]（贪婪）

#sub,替换:在最后一个参数中，用第一个参数替换第二个参数
print(re.sub(‘a’,‘A’,‘hjagjakhj’))#输出hjAgjAkhj

#建议在正则表达式中，被比较的字符串前面加上r，这样不用担心转义字符的问题

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

bs4库与re库 解析内容

综合使用正则表达式与BeautifulSoup库，对获取的网页数据进行解析。

#全局变量：电影详情页提取规则（正则表达式）
#影片超链接
findLink = re.compile(r'<a href="(.*?)">')
#电影名称
findTitle = re.compile(r'<span class="title">(.*?)</span>',re.S) #通过re.S去除换行符
#电影图片链接
findPicScr = re.compile(r'<img .*src="(.*?)".*>')
#电影评分
findScore = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#电影评价人数
findJudgeNum = re.compile(r'<span>(\d*)人评价</span>')
#电影相关信息
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)
#电影简介
findInq = re.compile(r'<span class="inq">(.*?)</span>')

datalist = []
#逐一解析数据：BS库解析爬取的html,下方html为网页数据
soup = bs4.BeautifulSoup(html,‘lxml’)
#通过每一部电影所有信息所在的标签提取
for item in soup.find_all(‘div’,class_=‘item’):
#爬取网页
data = []
item = str(item)
#正则表达式提取电影主要信息

<span class="token comment">#电影名称</span>
title <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findTitle<span class="token punctuation">,</span>item<span class="token punctuation">)</span>
<span class="token keyword">if</span> <span class="token builtin">len</span><span class="token punctuation">(</span>title<span class="token punctuation">)</span><span class="token operator">==</span><span class="token number">2</span><span class="token punctuation">:</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span><span class="token comment">#电影中文名字</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">1</span><span class="token punctuation">]</span><span class="token punctuation">)</span><span class="token comment">#电影原名</span>
<span class="token keyword">else</span><span class="token punctuation">:</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span><span class="token string">' '</span><span class="token punctuation">)</span>

<span class="token comment">#电影链接</span>
link <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findLink<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>link<span class="token punctuation">)</span>

<span class="token comment">#电影图片</span>
picScr <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findPicScr<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>picScr<span class="token punctuation">)</span>

<span class="token comment">#电影评分</span>
score <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findScore<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>score<span class="token punctuation">)</span>

<span class="token comment">#电影评价人数</span>
judgeNum <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findJudgeNum<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>judgeNum<span class="token punctuation">)</span>

<span class="token comment"># 电影相关信息</span>
bd <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findBd<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
<span class="token comment">#去掉中间杂乱符号</span>
bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'&lt;br(\s+)?/&gt;(\s+)?'</span><span class="token punctuation">,</span><span class="token string">""</span><span class="token punctuation">,</span>bd<span class="token punctuation">)</span>
bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'\\xa0'</span><span class="token punctuation">,</span><span class="token string">''</span><span class="token punctuation">,</span>bd<span class="token punctuation">)</span>
bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'\\n'</span><span class="token punctuation">,</span> <span class="token string">''</span><span class="token punctuation">,</span> bd<span class="token punctuation">)</span>
bd <span class="token operator">=</span> bd<span class="token punctuation">.</span>strip<span class="token punctuation">(</span><span class="token punctuation">)</span>
data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>bd<span class="token punctuation">)</span>

<span class="token comment">#电影评价</span>
inq <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findInq<span class="token punctuation">,</span>item<span class="token punctuation">)</span>
<span class="token keyword">if</span> <span class="token builtin">len</span><span class="token punctuation">(</span>inq<span class="token punctuation">)</span> <span class="token operator">!=</span> <span class="token number">0</span><span class="token punctuation">:</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>inq<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
<span class="token keyword">else</span><span class="token punctuation">:</span>
    data<span class="token punctuation">.</span>append<span class="token punctuation">(</span><span class="token string">' '</span><span class="token punctuation">)</span>
datalist<span class="token punctuation">.</span>append<span class="token punctuation">(</span>data<span class="token punctuation">)</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69

xlwt库操作excel

import xlwt

workbook = xlwt.Workbook(encoding=‘utf-8’)#相当于excel文件
worksheet = workbook.add_sheet(‘sheet1’)#相当于excel文件中的表单，命名为sheet1
worksheet.write(0,0,‘111’)#在当前表单的第0行第0列写入111
workbook.save(‘test.xls’)#将文件保存到test.xls

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述

综合使用上述库→全部代码→爬取豆瓣top250

askURL中head可以根据自己浏览器修改

# -*- coding = utf-8 -*-
# @Time: 2022/9/27 14:17
# @Author: Sunhao
# @File: spider.py
# @Software:PyCharm

import re #正则表达式，进行文字匹配
import bs4 #网页解析获取数据
import lxml
import urllib.request,urllib.error,urllib.parse #指定url，获取网页数据
import xlwt #进行excel操作
import sqlite3 #进行sqllite数据库操作

#电影详情页提取规则（正则表达式）
#影片超链接
findLink = re.compile(r’<a href=“(.?)">‘)
#电影名称
findTitle = re.compile(r’<span class=“title”>(.?)</span>‘,re.S) #通过re.S去除换行符
#电影图片链接
findPicScr = re.compile(r’<img .src="(.?)”.>‘)
#电影评分
findScore = re.compile(r’<span class=“rating_num” property=“v:average”>(.)</span>‘)
#电影评价人数
findJudgeNum = re.compile(r’<span>(\d*)人评价</span>‘)
#电影相关信息
findBd = re.compile(r’<p class=“”>(.?)</p>‘,re.S)
#电影简介
findInq = re.compile(r’<span class=“inq”>(.?)</span>')

def main():
baseurl = ‘https://movie.douban.com/top250?start=’
#1.爬取网页
#2.解析数据
datalist = getData(baseurl)
#3.保存数据
savepath = r’.\豆瓣电影Top250.xls’
saveData(savepath,datalist)
print(‘保存成功’)

# 得到一个指定URL的网页内容
def askURL(url):
head = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36”
}
request = urllib.request.Request(url=url, headers=head, method=“GET”)
try:
response = urllib.request.urlopen(request)
html = response.read().decode(‘utf-8’)
return html
except urllib.error.URLError as error:
if hasattr(error,‘code’):
print(error.code)
if hasattr(error,“reason”):
print(error.reason)
#爬取网页
def getData(baseurl):
datalist = []
for i in range(0,10):
url = baseurl+str(i*25)
html = askURL(url)
#逐一解析数据：BS库解析爬取的html
soup = bs4.BeautifulSoup(html,‘lxml’)
#通过每一部电影所有信息所在的标签提取
for item in soup.find_all(‘div’,class_=‘item’):
data = []
item = str(item)
#正则表达式提取电影主要信息

        <span class="token comment">#电影名称</span>
        title <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findTitle<span class="token punctuation">,</span>item<span class="token punctuation">)</span>
        <span class="token keyword">if</span> <span class="token builtin">len</span><span class="token punctuation">(</span>title<span class="token punctuation">)</span><span class="token operator">==</span><span class="token number">2</span><span class="token punctuation">:</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span><span class="token comment">#电影中文名字</span>
            title<span class="token punctuation">[</span><span class="token number">1</span><span class="token punctuation">]</span> <span class="token operator">=</span> title<span class="token punctuation">[</span><span class="token number">1</span><span class="token punctuation">]</span><span class="token punctuation">.</span>replace<span class="token punctuation">(</span><span class="token string">'/'</span><span class="token punctuation">,</span><span class="token string">''</span><span class="token punctuation">)</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">1</span><span class="token punctuation">]</span><span class="token punctuation">)</span><span class="token comment">#电影原名</span>
        <span class="token keyword">else</span><span class="token punctuation">:</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>title<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span><span class="token string">' '</span><span class="token punctuation">)</span>

        <span class="token comment">#电影链接</span>
        link <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findLink<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
        data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>link<span class="token punctuation">)</span>

        <span class="token comment">#电影图片</span>
        picScr <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findPicScr<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
        data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>picScr<span class="token punctuation">)</span>

        <span class="token comment">#电影评分</span>
        score <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findScore<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
        data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>score<span class="token punctuation">)</span>

        <span class="token comment">#电影评价人数</span>
        judgeNum <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findJudgeNum<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
        data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>judgeNum<span class="token punctuation">)</span>

        <span class="token comment"># 电影相关信息</span>
        bd <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findBd<span class="token punctuation">,</span>item<span class="token punctuation">)</span><span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span>
        bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'&lt;br(\s+)?/&gt;(\s+)?'</span><span class="token punctuation">,</span><span class="token string">""</span><span class="token punctuation">,</span>bd<span class="token punctuation">)</span>
        bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'\\xa0'</span><span class="token punctuation">,</span><span class="token string">''</span><span class="token punctuation">,</span>bd<span class="token punctuation">)</span>
        bd <span class="token operator">=</span> re<span class="token punctuation">.</span>sub<span class="token punctuation">(</span><span class="token string">'\\n'</span><span class="token punctuation">,</span> <span class="token string">''</span><span class="token punctuation">,</span> bd<span class="token punctuation">)</span>
        bd <span class="token operator">=</span> bd<span class="token punctuation">.</span>strip<span class="token punctuation">(</span><span class="token punctuation">)</span>
        data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>bd<span class="token punctuation">)</span>

        <span class="token comment">#电影简介</span>
        inq <span class="token operator">=</span> re<span class="token punctuation">.</span>findall<span class="token punctuation">(</span>findInq<span class="token punctuation">,</span>item<span class="token punctuation">)</span>
        <span class="token keyword">if</span> <span class="token builtin">len</span><span class="token punctuation">(</span>inq<span class="token punctuation">)</span> <span class="token operator">!=</span> <span class="token number">0</span><span class="token punctuation">:</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span>inq<span class="token punctuation">[</span><span class="token number">0</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
        <span class="token keyword">else</span><span class="token punctuation">:</span>
            data<span class="token punctuation">.</span>append<span class="token punctuation">(</span><span class="token string">' '</span><span class="token punctuation">)</span>
        datalist<span class="token punctuation">.</span>append<span class="token punctuation">(</span>data<span class="token punctuation">)</span>
<span class="token keyword">return</span> datalist

#保存数据
def saveData(savepath,datalist):
workbook = xlwt.Workbook(encoding=“utf-8”,style_compression=0)#style_compression表示是否压缩数据，默认为0，表示不压缩，1为压缩
worksheet = workbook.add_sheet(“豆瓣电影TOP250”,cell_overwrite_ok=True)#cell_overwrite_ok=True表示允许覆盖
col = (‘影片中文名称’,‘影片原名’,‘影片链接’,‘影片图片’,‘影片评分’,‘评价人数’,‘影片相关信息’,‘影片简介’)
#表格第一行内容
for i in range(0,8):
worksheet.write(0,i,col[i])
#将datalist存入表格
for i in range(0,250):
data = datalist[i]
print(‘保存第%i条’%i)
for j in range(0,8):
worksheet.write(i+1, j, data[j])
workbook.save(savepath)

if name == ‘main’:
main()

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
文章知识点与官方知识档案匹配，可进一步学习相关知识
Python入门技能树网络爬虫urllib 145750 人正在系统学习中
杭州下小雨~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Qt-无标题窗口
学而思
05-21 7468
        今天学习了下无标题窗口，于是来记录下我的学习过程首先建立一个Qt Widgets Application继承QWidget类创建完后直接运行就得到了如下效果那么，既然是无标题窗口就要去掉窗口栏啊，于是加上setWindowFlags(Qt::FramelessWindowHint | Qt::WindowMinimizeButtonHint);去掉标题栏，但是这样整个窗口就不能移动...
Qt无标题窗口
05-21
在本文中，我们将深入探讨如何使用Qt框架创建一个无标题窗口，这在界面设计和自定义标题栏美化中非常有用。我们将关注`framelesswidget.cpp`、`main.cpp`、`framelesswidget.h`等核心文件，理解它们在实现无标题窗口...
Python爬虫
la_xl的博客
08-01 471
目录Python爬虫爬虫前基础了解文件位置表示方法获取数据获取一个**get**请求![!\[](https://img-blog.csdnimg.cn/86288a5123ac4473b6451c619904ab7d.png)获取一个**post**请求(一般用在模拟用户登录)超时处理BeautifulSoup4TagNavigableStringBeautifulSoupComment文档的遍历文档的搜索正则表达式 re正则表达式的常用操作符re库的主要功能函数保存数据excel表存储 Python爬虫
python爬虫
weixin_44953928的博客
11-15 253
python爬虫 1.任务介绍 1.需求分析 ​ 任务：爬取top250的电影基本信息：名称、豆瓣评分、评价数、电影概况、电影链接等 ​ http://movie.douban.com/top250 2.爬虫的认识 1.什么是爬虫 2.爬虫可以做什么 3.爬虫的本质 **模拟浏览器**打开网页，获取网页中我们想要的那部分数据 3.基本流程 ​ 准备工作——>获取数据——>解析内容——>保存数据 准备工作 通过浏览器查看分析目标网页，学习编程基础规范。 获取数据 通过HTTP库向目
Python爬虫学习笔记（一、准备工作）
qq_37864983的博客
09-30 370
基本流程 准备工作 通过浏览器查看分析网页，学习编程基础规范。 获取数据 通过HTTP库向目标站点发起请求，请求可以包含额外header等信息，如果服务器能正常响应，会得到一个Response，获取页面内容。 解析内容 得到的内容可能为HTML、json等格式，可以用页面解析库、正则表达式等进行解析。 保存数据 可以保存为文本，也可以保存到数据库。 任务 爬取豆瓣电影Top250的基本信息。 https://movie.douban.com/top250 每页25部电影信息，总共10页 一、分析网站链
python 爬虫
weixin_53280964的博客
05-11 514
1.任务介绍 任务说明：本次实践使用Python来爬取百度百科中《青春有你2》所有参赛选手的信息。并基于所爬取数据进行数据可视化分析。 实践环境：Python3.7 数据来源：百度百科 https://baike.baidu.com/item/%E9%9D%92%E6%98%A5%E6%9C%89%E4%BD%A0%E7%AC%AC%E4%BA%8C%E5%AD%A3 2.爬虫初始 2.1什么是爬虫 网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或者脚本由于互联网数据的多样性和资源的有
C#中实现无标题栏窗体拖动的代码
热门推荐
百锦再的博客
01-18 1万+
事件来实现拖动功能。当鼠标按下时，我们标记鼠标正在拖动，并保存当前坐标。在鼠标移动时，如果鼠标正在拖动，我们更新窗体的位置，使其跟随鼠标移动。当鼠标释放时，我们取消拖动标记。请注意，在窗体上添加了对应事件处理程序的窗体控件属性应该设置为对应的事件处理程序方法。在窗体设计视图，选择属性窗格，在事件选项卡中为。在C#中实现无标题栏窗体拖动的代码可以通过处理鼠标事件来实现。这样，当你在运行窗体时，你就可以通过鼠标拖动窗体来改变其位置。事件分别选择对应的处理程序方法。在这个示例代码中，我们通过处理。
C# 移动无标题栏无边框窗体的3种方法
SabreWulf
03-13 2268
目录 第一种：手工移动 第二种：调用系统API 1.引入下面代码 前提需要引入命名空间using System.Runtime.InteropServices 2.增加鼠标按下事件发送消息，让系统误以为按下是标题栏 第三种，重写 WndProc 第一种：手工移动 直接通过修改窗体位置从而达到移动窗体的效果 //定义一个位置信息Point用于存储鼠标位置 private Point mPoint; /// <summary>
Qt实现改变无标题栏窗体大小及移动窗体
danshiming的博客
11-10 3362
Qt实现鼠标左键拖动无标题栏窗体右下角改变窗体大小及移动窗体
Chrome显示无标题错误代码STATUS_INVALID_IMAGE_HASH
precy_wm的博客
01-03 1483
Chrome显示无标题错误代码STATUS_INVALID_IMAGE_HASH
VC去掉'无标题'字样的方法.zip
11-21
在使用Visual C++进行编程时，我们经常会在创建新的窗口或者对话框时默认看到标题栏显示为“无标题”。这可能会对用户界面的美观性和专业性造成一定的影响。本资料包提供了一种方法来帮助开发者去掉这个“无标题”...
visual c++取掉对话框窗口的 -无标题 字样的方法
08-04
在Visual C++编程环境中，创建窗口应用程序时，默认情况下，窗口标题栏可能会显示“-无标题”字样，这通常是由于没有正确设置窗口类或没有自定义窗口标题所导致的。要解决这个问题，我们需要深入理解Windows API中的...
c#实现无标题栏窗口的拖动
09-05
本篇文章将详细讲解如何在C#中实现这种无标题栏窗口的拖动以及其他基本操作。 首先，为了实现无标题栏窗口的拖动，我们需要处理窗体的鼠标事件。窗体的`FormBorderStyle`属性应设置为`None`，这会去除窗体的边框和...
delphi 无标题调整大小
11-26
在Delphi编程环境中，"无标题调整大小"通常是指创建没有标准标题栏的窗口，并允许用户通过拖动边界来调整其大小。这种设计通常用于自定义界面或创建无边框的对话框。以下是对这个主题的详细解释： 一、创建无标题...
yolov8 出现loss 为nan
最新发布
zhaoluruoyan89的博客
08-21 103
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 623
Python星载气溶胶数据处理与反演分析
python之matplotlib （5 散点图和柱状图）
这是C.L 的博客，欢迎大家学习浏览！！
08-20 344
附：colormap对照 '%.f'%y‘是标注数据的形式设置：保留两位小数，数据来源于y数组。也可以这样写：f'{y:.2f}',在它前面的参数是标注的位置。也可以是一个数组，表示每个点的颜色不同。ax.bar()中y参数是直方图的高度，其中facecolor是条形图的颜色，而edgecolor是除了条形图内的颜色。也可以是一个数组，表示每个点的大小不同。参数来指定一个colormap，用于映射颜色数组到颜色。
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer）
bayesian1的博客
08-20 880
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer），通过构建T5模型，采用中文重写任务的数据集进行训练，模型效果非常好，貌似还涌现出了一定的创造力。
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杭州下小雨~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值