魔生-CSDN博客

原创 python 环境

Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。创建指定Python版本环境：conda create --name 环境名称 python=3.7。删除环境：conda remove --name 环境名称 --all。创建环境：conda create --name 环境名称。进入环境：conda activate 环境名称。退出环境：conda deactivate。

2024-05-07 07:41:43 288 1

原创 30天考霸训练营笔记

30天考霸训练营掌握学习本质：快速找到学习的捷径建立专业水准：让学习成为一种习惯打造极致心态：做个“满分”考生细化阶段目标：让成就感加速学习步伐掌握学习本质：快速找到学习的捷径建立专业水准：让学习成为一种习惯打造极致心态：做个“满分”考生细化阶段目标：让成就感加速学习步伐...

2021-08-20 20:42:10 380

原创 conda虚拟环境复制

实验条件：anaconda3-5.2.0联网复制1.导出已有环境激活环境env_name(环境名称)conda activate env_name导出环境conda env export --file env_name.yml将env_name.yml复制到另一台机器上，导入conda env create -f env_name.yml复制到环境仅包含原来环境中使用con...

2020-03-12 16:28:29 2846

原创使用opencv-python对视频与图像进行相互转换

读取视频文件转成图像转# 全局变量VIDEO_PATH = './demo.mp4' # 视频地址EXTRACT_FOLDER = './img' # 存放帧图片的位置EXTRACT_FREQUENCY = 10 # 帧提取频率def extract_frames(video_path, dst_folder, index): # 主操作 import cv2...

2020-03-05 17:36:00 498

原创 pytorch基础

数据类型dtype，8种16-bit floating point torch.float16 or torch.half32-bit floating point torch.float32 or torch.float 64-bit floating point torch.float64 or torch.double8-bit integer (unsigned) torch.u...

2019-12-21 19:01:23 221

原创在colab中使用tensorflow2.0

一键配置环境import syssys.path[0]="/tensorflow-2.1.0/python3.6"import tensorflow as tftf.__version__若上述路径报错，请重新查询tensorflow2.0所在路径，并修改对应的sys.path[0]的valuecolab服务器中tensorflow路径验证截止到目前为止，colab中默认使用1....

2019-12-21 12:08:31 1279 3

转载在spark上运行Python脚本遇到“ImportError: No module name xxxx”

原文链接：https://blog.csdn.net/wangxiao7474/article/details/81391300在spark上运行Python脚本遇到“ImportError: No module name xxxx”这是因为运行Python脚本的集群上的Python环境里缺乏脚本运行需要的依赖。根据所需依赖的不同性质可以分为3类：（1）单个的*.py...

2018-08-08 18:47:02 1163

转载 Spark配置参数详解

以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设...

2018-08-06 11:13:43 239

原创异常：Some of types cannot be determined by the first 100 rows, please try again with sampling

将RDD转为DataFrame的方式有：1. 将RDD转换为Row，之后创建dataframerdd = stringCSVRDD.map(lambda p: Row(id=p[0], name=p[1], age=p[2], eyeColor=p[3]))df = spark.createDataFrame(rdd)通过该方式创建dataframe，书写简单，字段类型通过前100条...

2018-08-04 11:44:40 1824

原创异常：Randomness of hash of string should be disabled via PYTHONHASHSEED

异常描述：使用Yarn-client模式提交脚本时报异常解决方案1（无效）：打印输出结果：None 解决方案2(成功)：修改spark-defaults.conf 备注：1. 方案2适用于解决yarn-client模式下提交时的异常2. 等号后的0也可以是其他值 ...

2018-08-03 21:26:47 849

ncutits的博客