python extract函数乱码_爬虫爬下来的怎么都是乱码...

’’’

import requests

import re

import os

from lxml.etree import HTML

def request_link(link):

"""链接请求"""

headers_dict = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36

(KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36'}

request = requests.get(link, headers=headers_dict, allow_redirects=True, verify=True) # 提交网址

if 200 <= request.status_code <= 206: # 判断响应状态码

htmlData = request.text.encode('utf-8').decode('ISO-8859-1')

return htmlData

else:

return None

def extract_fields(pattern, datas, flags, m=1):

"""提取字段"""

findField = re.search(pattern, datas, flags=flags)

if findField:

findField = findField.group(1)

if m:

if '

findField = re.sub('', '', findField, flags=re.S)

return findField.replace(' ', '')

else:

return findField

else:

return 'null'

def download(fileName, url, path):

"""下载附件"""

try:

print('下载中,请耐心等待...')

r = requests.get(url)

with open(path + fileName, "wb") as File:

File.write(r.content)

print(fileName, '下载Ok')

except:

print(fileName, '下载失败')

def main():

for i in range(98): # 循环迭代列表翻页

if not i: # 判断第一页

url = 'http://www.liyang.gov.cn/default.php?mod=article&fid=163250&s99679207_start=0'

else: # 其它列表页

url = 'http://www.liyang.gov.cn/default.php?mod=article&fid=163250&s99679207_start=+i'

print('\n正在提取列表第%s页item的详情链接...\n' % str(i + 1))

data = request_link(url) # 列表页面的链接请求

if data:

# print(len(data))

tree = HTML(data) # 列表页面

urlList = tree.xpath('//span[@class="link_14"]/a') # 匹配列表页面的item的详情链接

if urlList:

print('列表第%s页共计条目:' % str(i + 1), len(urlList))

v = 1

for url in urlList:

url_i = 'http://www.liyang.gov.cn/'+ url.get('href')

print(url_i)

# try:

print(v, '正在提取链接:', url_i, '的字段数据...')

datas = request_link(url_i) # 详情页面的链接请求

print(len(datas))

if datas:

trees = HTML(datas) # 详情页面

title = trees.xpath('//font[@class="link_19"]/text()') # 匹配标题

if title:

title = title[0]

# print(title)

date = trees.xpath('//font[@class="link_19"]/text()')[0].split()[0] # 发布日期

print(date)

path = './data/%s/' %title

try:

os.mkdir(path) # 创建储存数据和附件的目录

except:

pass

content = extract_fields(r'(.*?)', datas,re.S) # 公示文本纯内容

content = content.replace(' ', '').replace(' ', '').replace('“', '')

# print(content)

contents = extract_fields(r'

(.*?)', datas,re.S, 0) # 公示文本div

# print(contents)

if '

imgUrls = re.findall(r'src="(.*?)"', contents, 0)

for imgUrl in imgUrls:

imgUrl = 'http://www.liyang.gov.cn' + imgUrl

print(imgUrl)

download(imgUrl.split('/')[-1], imgUrl, path) # 下载图片

if '

fileUrls = re.findall(r'href="(.*?)"', contents, 0)

for fileUrl in fileUrls:

fileUrl = 'http://www.liyang.gov.cn' + fileUrl

print(fileUrl)

download(fileUrl.split('/')[-1], fileUrl, path) # 下载附件

with open(path + 'data.txt', 'w', encoding='utf-8') as f: # 储存页面源代码及数据内容

f.write(title + '\n\n' + date + ' ' + '溧阳环保' + '\n\n' + content)

# except:

# print('响应或解析异常!!')

# pass

v += 1

if name == 'main':

main()

’’’

这里是源码

这个是目标网站的详情页‘http://www.liyang.gov.cn/default.php?mod=article&do=detail&tid=146309700&sid=’

求助求助

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python爬虫是一种非常强大的工具,它可以被用于多种目的,其中包括爬取视频信息和文件。如果需要爬取视频_index.m3u8_ts.rar文件,以下是一些步骤和技巧: 1. 确定爬取目标:首先需要确定要爬取的视频_index.m3u8_ts.rar文件的URL地址,可以在浏览器中打开开发者工具(如Chrome的“开发者工具”),在“网络”选项卡下查找请求的URL地址。 2. 使用Python爬虫Python爬虫的主要模块包括requests、BeautifulSoup等,可以使用它们来获取请求的URL地址,并将响应的数据解析为所需的文件。 3. 使用正则表达式:视频的_index.m3u8_ts.rar文件通常是一个较大的文件,其中包含多个链接URL地址。可以使用Python中的正则表达式来提取所需的文件链接,并将它们存储为一个列表。 4. 下载文件:获取文件链接后,可以使用Python的requests模块下载视频_index.m3u8_ts.rar文件到本地。 5. 文件处理:下载完成后,可以使用Python中的常用文件处理工具(如os、shutil等)进行文件重命名、移动或其他操作。 总的来说,Python爬虫是一种非常灵活和高效的工具,可以大大简化获取和处理视频_index.m3u8_ts.rar文件的过程。但是需要注意的是,爬取文件时需要遵守相关法律法规和网站协议,以免触犯法律或侵犯他人利益。 ### 回答2: 要使用Python爬虫爬取视频_index.m3u8_ts.rar文件,需要以下几个步骤: 1. 确认网站和视频资源的URL:首先需要确认想要爬取的视频文件所在的网站和URL链接。可以使用Python中的requests库发起HTTP请求获取网址的HTML源代码,并从中解析出视频链接的URL。 2. 根据视频链接的URL获取文件:获取视频链接的URL之后,需要使用Python中的requests库再次发起HTTP请求,获取视频文件的二进制数据。一般情况下,在请求中需要设置请求头部信息和一些参数,以便获得正确的内容。 3. 下载和解压文件:在获取到视频文件数据之后,需要将其保存为本地的视频文件。视频文件有可能是一个压缩包,如.rar或.zip文件,因此还需要使用Python中的解压缩库来进行解压操作。 4. 根据视频文件生成m3u8文件:在解压出视频文件的内容之后,需要使用Python编写脚本解析视频文件,并生成相应的m3u8文件。m3u8是一种视频资源格式,包含了可以分片下载的视频资源地址列表,可以使用播放器播放m3u8视频资源。 以上是爬取视频_index.m3u8_ts.rar的一般流程,具体实现方法会因网站和视频资源的不同而有所差异,需要针对具体情况进行调整。同时,爬取视频资源时需要尊重版权,遵守相关法律法规并遵守网站的规定,不进行盗版、侵权、篡改等行为。 ### 回答3: 首先,需要了解m3u8文件的基本概念。m3u8是指一种基于HTTP Live Streaming (HLS)协议的音视频播放列表格式,它是由苹果公司首先提出的。m3u8文件中包含了多个ts文件的链接地址,ts文件中则包含了音视频数据。因此,如果成功获取了m3u8文件并解析出其中的ts文件链接地址,就可以成功抓取指定的音视频数据了。 那么如何使用Python实现这个任务呢?以下是一些基本的步骤: 1. 网络请求:使用requests库或urllib库向网站发送请求,获取网站源代码。 ``` python import requests url = "http://example.com/video_index.m3u8" response = requests.get(url) html = response.text ``` 2. 正则表达式匹配:从网站源代码中提取.m3u8和ts文件链接地址。 ``` python import re pattern = "(http://.*?\.m3u8)" m3u8_url = re.findall(pattern, html)[0] pattern = "(http://.*?\.ts)" ts_urls = re.findall(pattern, html) ``` 3. 下载.m3u8文件:使用requests库下载.m3u8文件。 ``` python m3u8_response = requests.get(m3u8_url) m3u8_text = m3u8_response.text ``` 4. 提取.ts文件链接:从.m3u8文件中提取所有.ts文件的链接。 ``` python ts_urls = [] for line in m3u8_text.split("\n"): if line.endswith(".ts"): ts_url = line if not ts_url.startswith("http"): ts_url = m3u8_url.rsplit("/", 1)[0] + "/" + ts_url ts_urls.append(ts_url) ``` 5. 下载.ts文件:使用多线程或异步IO方式同时下载多个.ts文件。 ``` python import threading import urllib.request def download_ts(ts_url, output_path): urllib.request.urlretrieve(ts_url, output_path) threads = [] for i, ts_url in enumerate(ts_urls): thread = threading.Thread(target=download_ts, args=(ts_url, f"video_{i}.ts")) threads.append(thread) thread.start() for thread in threads: thread.join() ``` 6. 合并.ts文件:使用ffmpeg或moviepy库将多个.ts文件合并为一个完整的视频文件。 至此,我们便成功用Python实现了视频的抓取和合并。需要注意的是,具体实现可能会根据不同的网站有所变化,这里只是提供一个基本的思路。此外,网络爬虫本身是一项敏感而受限的技术,建议在遵守法律和道德规范的前提下使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值