摸鱼同学的博客

不同系统Docker容器与镜像默认存放位置Linux 存放位置如下Linux:cd /var/lib/docker - 容器与镜像存放在此目录下镜像位置: /var/lib/docker/image容器位置: /var/lib/docker/containersMacMacOS:容器和镜像在如下目录下,不同版本或许可能文件版本不一样/Users/xxxxmyname/Library/Containers/com.docker.docker/Data可以到上面的目录中，查看

Docker命令汇总docker pull 镜像名<:tags> - 从远程仓库抽取镜像docker images - 查看本地镜像docker run 镜像名<:tags> - 创建容器，启动应用(前台运行) * 如果在运行run命令时，镜像还没有被远程仓库抽取，则会首先进行pull将镜像下载到本地，再进行创建启动操作docker run -p 宿主机端口:容器内端口 镜像名 - 创建容器，启动应用并映射端口号(前台运行) * -p: 映射端口号doc

Spark - Transformation算子Zip使用zip说明注意事项代码示例zip说明zip 自身的RDD的值的类型为T类型，另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个新的元组值def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)] = withScope {处理逻辑}注意事项需要两个rdd有相同的分区数 和 数据条数相同Exception1: Can’t zip RDDs with unequal numbe

Spark常用的几种模式Local StandAlone Yarn - MesosLocal模式又分为几种启动方式 local - local单核 LOCAL_N_REGEX(threads) - local[N]/local[*] 设置N个线程或启动与cpu core个数相同的线程 LOCAL_N_FAILURES_REGEX(threads, maxFailures) - 设置N线程数与最大失败次数 LOCAL_CLUSTER_REGE..

Hive生产调优

--hiveconf配置--hivevar参数--hive配置hive -e "select * from tablename" --hiveconf mapreduce.job.queuename=yarn_queuename|hive --hiveconf mapreduce.job.queuename=yarn_queuename -e "select * from tablename"hive -e "select * from tablename where biz_

目录1.数据准备2.聚合重命名的几种方法1.数据准备import pandas as pddf = pd.read_csv('/data/Mall_Customers_nom.csv')df.head()as_index默认为True，即返回以组标签作为索引的对象。下例，Gender作为索引返回。gender_df = df.groupby("Gender", as_index=True).agg({'CustomerID':'count'})gender..

安装pip install matplotlib报错如下：ERROR: Could not find a version that satisfies the requirement cycler>=0.10 (from matplotlib) (from versions: none)ERROR: No matching distribution found for cycler>=0.10 (from matplotlib)

目录一、方法参数二、使用方法1.读入数据2.shift操作2.1.periods2.2.指定axis，操作列2.3.为以后填充空值一、方法参数DataFrame.shift(periods, frep, axis, fill_value)periods:要移动的值frep:拓展索引，值不变axis:指定要移位的行或列，0为行，1为列fill_value:指定移位后的填充值，fill_value=0，即表示移位后缺失值填充为0二、使用方法1.读...

实践是检验真理的唯一标准！-ldap_password_cmd：运行以检索LDAP密码的Shell命令准备工作：[root@localhost impala]$ vi /home/test/impala/pwd-impala123456[root@localhost impala]$ cat /home/test/impala/pwd-impala123456先切换我当前的用户，以免混淆[root@localhost impala]$ kinit hbasePasswor

impala-shell -hUsage: impala_shell.py [options]Options: -h, --help show this help message and exit -i IMPALAD, --impalad=IMPALAD <host:port> of impalad to connect to [default: master

Anaconda简介：Anaconda是一个基于python的库的集合（自带Python环境），他包含了conda（包管理工具）和众多Python库的集合(科学计算库等)安装：下载：通过官网Anaconda下载，打开如下：点击IndividualEdition点击进入下载页，点击Download，选择系统对应的版本：下载好后点击安装即可：安装步骤简单；直接下一步下一步即可这里我选择的for AllUser指定安装目录两个选项都勾上...

impala刷新表有两种方式invalidate metadata和refresh： invalidate metadata invalidate metadata：刷新元数据和文件-- 刷新所有库中的所有表invalidate metadata;-- 刷新指定库的指定表invalidate metadata tablename;refreshrefresh：不刷新元数据，只刷新文件-- 刷新指定表refresh tablename-- 刷新指定表的分区

语法格式beeline -n username -p password -u jdbc:hive2://host:10000 --verbose=true --showHeader=false --outputformat=tsv2 --color=true -e "select * from ${database}.${tablename}" > ${tableName}.csv通过 outputformat 指定输出格式--outputformat=[table/verti

本文介绍查找pip site-package位置的两种方法方法一：通过Python内置方法get_python_lib查询from distutils.sysconfig import get_python_libprint(get_python_lib())# /Library/Python/3.7/site-packages方法二：通过pip3命令直接查看查看已安装的库的列表：pip3 listxxxx@MacBook-Pro ~ % pip3 listWARNING: p

【参考资料-菜鸟教程Docker-Nginx】查看docker中是否包含nginx容器xxxx@MacBook-Pro ~ % docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdocker101tutorial latest 25de3aa58202 18 hours ago 27.3MB&

参考资料-阿里云容器镜像服务查看docker的版本(本文基于最近版本docker19.03.12(for mac10.10.5)（at20200828）)点击任务栏Docker Desktop图标，点击Perferences，如下：选择菜单栏选择Docker Engine，并在输入框将"registry-mirrors": ["https://zx0yvph5.mirror.aliyuncs.com"] 加入到json中，配置好后点击Apply & Restart 重启Docker

参考资料-Python 文件I/Oopen()函数打开文件file_object = open(file_name [, access_mode][, buffering])file_name：file_name变量是一个包含了你要访问的文件名称的字符串值。 access_mode：access_mode决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。 buffering:如果buffering的值被设为0，就不

s3cmd-参考资料https://s3tools.org/usageS3没有文件夹的概念，只有桶(bucket)的概念创建桶：s3cmd mb s3://my-bucket-name删除空桶s3cmd rb s3://my-bucket-name查看所有bucketss3cmd ls查看指定bucket的内容s3cmd ls s3://my-bucket-name上传文件s3cmd put file.txt s3://my-bucket-nam..