python
ccdouni
这个作者很懒,什么都没留下…
展开
-
python环境打包、centos 下openssl解决方案、fasttext安装失败
python环境打包 下载: wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz 解压: tar -xzvf Python-3.6.8.tgz #指定python 安装路径 export PYTHON_ROOT=~/Python #安装 python cd Python-3.6.8 ./configure --prefix="${PYTHON_ROOT}" make make install pip install原创 2021-03-29 16:09:14 · 296 阅读 · 2 评论 -
mac服务器远程文件下载到本地
scp -r 'admin@XXX.XXX.XXX /user/服务器远程文件夹/文件' /Users/本地存放目录原创 2020-01-06 15:03:18 · 2510 阅读 · 1 评论 -
Spark面对OOM问题的解决方法及优化总结
Spark面对OOM问题的解决方法及优化总结 out of memory1. map过程产生大量对象导致内存溢出:2.数据不平衡导致内存溢出:3.coalesce调用导致内存溢出: out of memory map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作,包括:flatMap,filter,mapPatitions等。shuffle后内存溢出的...原创 2020-01-06 14:59:15 · 228 阅读 · 0 评论 -
python中的进程与线程区别
1 概念梳理: 1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。一个线程是一个execution context(执行上下文),即一个cpu执行时所需要的一串指令。 1.1.2 线程的工作方式 假设你正在读一本书,没有读完,你...转载 2019-02-12 10:55:40 · 489 阅读 · 0 评论