Pyart学习笔记:安装篇

Windows系统。安装没什么困难,如果我带着脑子仔细阅读了官方说明书的话,一系列的智障操作导致我现在看到安装两个字就烦。等我有钱了一定要再买个电脑弄个Linux系统。

记得先看问题,这才是笔记的核心和价值所在。

目录

1 安装

1.1 安装

1.2 例子

2 问题

2.1 python版本

2.2 C++生成器

2.2.1 缺少C++ build……

2.2.2 status1……status2……

2.3 conda安装的pyart

2.4 _lzma

2.5 conda下载慢

2.6 pip下载慢

2.6.1 解决方法:

2.6.2 题外话

2.7 额外库

3 结语

参考文献及链接


1 安装

1.1 安装

根据官方说明,安装分为两步

第一步:准备Python3.8环境。直接安装和conda虚拟环境都是可以接受的。

第二步:安装Pyart。一二步可以使用conda同时进行,或者之后使用pip。

1.2 例子

1.使用conda一步到位:在任意位置打开命令行

conda create --prefix= C:\Users\TW\Desktop\Pyart\penv python=3.8 arm-pyart

Tips:此命令会在我指定的位置安装我需要的虚拟环境并安装pyart,但这个pyart并没有成功运行,所以有了例2。我并不能接受我的项目文件到处都是,所以有了在指定位置安装的命令。

2.两步走:使用conda安装虚拟环境,在任意位置打开命令行

conda create --prefix= C:\Users\TW\Desktop\Pyart\penv python=3.8

在所安装python的Scripts文件夹中打开命令行(当然也可以任意位置打开然后cd至该文件夹),如我的在C:\Users\TW\Desktop\Pyart\penv\Scripts,然后,

pip install arm-pyart 
win11系统为(./ pip install arm-pyart)

Tips:关于在“Scripts文件夹中打开命令行”,因为没有通过conda来激活环境,所以直接使用pip会被计算机中的其他python环境干扰,不能准确地安装在你想装的地方。

2 问题

问题是按照我心中的的重要性排序的

2.1 python版本

个人实践证明python3.6和python3.7在运行pyart的时候会遇到各种各样令人疑惑而且以度娘的现状和我的编程水平无法解决的问题,但乐于尝试总是好的。

2.2 C++生成器

2.2.1 缺少C++ build……

C和C++的恩怨情仇总能给我带来一些快乐(痛苦),他们最直接的体现就是Windows和Linux在使用Python方面的不同,而且我用到的库好巧不巧的都和C有不解之缘。

为了避免这样的错误,我下载了Visual Studio,安装了C++桌面开发全套工具,然鹅这并不能解决所有问题。

2.2.2 status1……status2……

安装了生成器之后cl.exe 仍然会时不时的跳出来给你一脚,慢慢的,被踢多了,也就不疼了。

本地安装可以避免这些错误,在Python Extension Packages上找到对应python和系统版本的whl文件,下载,和pip放在同一个文件夹

pip install …….whl

再后来我发现,pip或者conda在线安装的好多错误都可以通过本地安装来解决,这也可能就是开发者们一直不修复的原因吧。

2.3 conda安装的pyart

如果你遇到了各种各样的问题,建议百度,因为问题实在是太多,比起一个个去解决,好吧我确实是一个个的去解决的,但我后来实在是受不了了,所以我干掉了提问题的人,转战pip。

按照理论上来说,pip和conda安装的东西应该是一样的,毕竟实质上都是Pyart团队开发的东西挂在上面方便大家下载而已,然鹅我实际用的过程中总有这样那样的问题,很奇妙。

2.4 _lzma

运行过程中遇到了error:找不到_lzma什么的错误,然后从网上参考了解决no module named ‘lzma’的解决方法:

使用pip安装了backports.lzma库,然后用编辑器打开lzma.py文件

将:

from _lzma import *

from _lzma import _encode_filter_properties, _decode_filter_properties

改为以下内容:

try:

    from _lzma import *

    from _lzma import _encode_filter_properties, _decode_filter_properties

except ImportError:

    from backports.lzma import *

    from backports.lzma import _encode_filter_properties, _decode_filter_properties

2.5 conda下载慢

如果你没有anaconda,自己从官网上下载一个,安装过程一路next就好。

如果你非要自定义一些选项,记得按照anaconda官网说明,进行一些设置。如添加一些环境变量之类的。

下载慢是墙的原因,添加一下国内镜像源可以解决问题,我添加的是清华的镜像站,因为所有非临时修改的本质都是修改文件,所以有两种方法:

方法一,打开命令行:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

conda config --set show_channel_urls yes

方法二:

在运行上述任意命令后,你会在自己的用户文件目录中得到一个.condarc文件,用记事本打开,直接在里面把链接写进去就好。

2.6 pip下载慢

2.6.1 解决方法:

临时指定链接:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple arm-pyart

一劳永逸:在你的用户文件目录中新建pip文件夹,在pip文件夹中新建文本文件命名为pip.ini,写入以下内容:

[global]

index-url = https://pypi.tuna.tsinghua.edu.cn/simple

[install]

trusted-host=mirrors.aliyun.com

2.6.2 题外话

有很多镜像源,但豆瓣和阿里都给过惊喜,不知道是不是我自己操作失误的原因,目前我主要用清华的。

2.7 额外库

官网说明中提到了,想获得完整功能还需要装的一些库和组件。其中:

TRMM Radar Software Library (RSL)仅支持Linux,windows是用不了的。

除非特别说明,不要在主体安装之前安装其他东西,会在版本啊、协调啊方面出错。(如RSL强调了要先安装它再安装pyart,不然需要自己调整一些参数,那就需要先装RSL了)

3 结语

一切的一切都源于基础知识不扎实,因为自己的原因,装个包断断续续整了好长时间,得赶紧学学。

参考文献及链接

Pyart官网:

The Python ARM Radar Toolkit - Py-ART — Py-ART 1.14.1.post7 documentation (arm-doe.github.io)

清华镜像站:

anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

博客:Anaconda添加清华镜像源_麦地与诗人的博客-CSDN博客_conda添加清华镜像

博客:No module named ‘_lzma’-阿里云开发者社区 (aliyun.com)

Python库挂载站之一:

Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu)

博客:Python- 解决PIP下载安装速度慢_Renaissance5K的博客-CSDN博客_pip下载速度慢

RSL:TRMM Radar Software Library (RSL)

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Spark SQL是Apache Spark中的一个模块,它提供了一种基于结构化数据的编程接口。Spark SQL可以让用户使用SQL语句来查询数据,也可以让用户使用DataFrame API来进行数据处理和分析。Spark SQL支持多种数据源,包括Hive、JSON、Parquet等。Spark SQL还提供了一些高级功能,如支持用户自定义函数、支持分布式机器学习算法等。Spark SQL的目标是让用户能够方便地使用Spark进行数据处理和分析,同时提供高性能和可扩展性。 ### 回答2: Spark SQL是一个基于Spark平台的关系型数据处理引擎,它支持使用SQL语句和数据框架操作数据,可以轻松处理结构化和半结构化的数据。它可以从多个数据源中读取数据,包括Hive、JSON、Parquet、ORC等。通过Spark SQL,用户可以方便地使用SQL查询语言来分析和处理数据,大大降低了开发和组织数据流的难度。 Spark SQL主要有两种执行模式:SQL查询和DataFrame操作。其中SQL查询基于Hive的SQL语法解析器,支持HiveQL中的大多数语言特性(如UDF、窗口函数等)。在执行计划生成时,Spark SQL采用了Spark的计算引擎,支持各种Spark算子的优化,以便最大程度地提高查询性能。 另一种操作模式是使用DataFrame API,它可以灵活地进行数据转换和处理,并提供了类似于SQL的语法。与SQL查询不同,DataFrame API通过静态检查和编译器优化来避免由SQL查询引起的语法错误和潜在性能问题。 除了这两种基本的操作模式外,Spark SQL还提供了一些高级特性,如嵌套查询、表和视图、共享变量等。这些特性扩展了Spark SQL的功能,使得它可以更加灵活地进行数据处理和查询。 Spark SQL是Spark的重要组成部分,它在数据存储和处理方面提供了很多便利。通过最大程度地利用Spark引擎的优势,Spark SQL能够处理海量数据,并将其转换为有用的信息。这使得Spark SQL成为实现数据分析、机器学习和人工智能的重要工具之一。 ### 回答3: Spark SQL是一种基于Spark平台的数据处理引擎,它提供了高度优化的查询引擎和优秀的支持SQL语句的API。它允许用户使用SQL语句查询来处理大规模数据集,同时仍然支持复杂数据类型和计算。Spark SQL支持数据源,包括Parquet,Avro,JSON等一系列结构化的和半结构化的数据源。 Spark SQL在历史上是一个单独的模块,在Spark 2.0之后,它已经成为Spark的核心组件之一,可以直接在Spark核心API中使用,包括作为一个RDD库或DataFrame/DataSet的API。 Spark SQL的优点如下: 1. 它可以向受过传统SQL培训的用户展示更高级别,更强大的API。 2. 它提供数据集和RDD的良好互操作性。Spark SQL可以通过未被优化的RDD/DataSet API访问同一数据。 3. 它支持Spark的执行引擎以加速查询处理。 使用Spark SQL的时候,可以根据需要选择编程语言,如Scala,Java,Python,SQL等。在Spark核心API中,Spark SQL提供了两种API来处理结构化数据: 1. DataFrame API:DataFrame是具有许多操纵数据的功能的分布式数据集,类似于数据库中的表。 2. Dataset API:Dataset是Scala和Java API,它是类型安全的,并且提供与RDD API相同的API,但比RDD具有更好的性能和可读性。 Spark SQL是Spark生态系统中重要的组成部分之一。在处理大规模数据时,使用Spark SQL可以方便地利用Spark的强大功能,提高处理效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值