Learning

no kernel image is available for execution on the device

pip提示升级时，尽量升级。pip升级的好处：1、安装速度加快，寻找依赖包的速度更快。2、解决部分包安装失败，安装不上，不兼容的问题。

通过本文可以了解：1学会wsl卸载ubuntu虚拟机。2学会使用wsl安装指定发型版本的虚拟机。3、手动压缩docker desktop的本地存储vhdx大文件。

pandas使用groupby将多行数据聚合到list里

将tzdata安装模式设置为非交互方式。

确定hadoop和hive版本；创建maven工程：pom文件、创建UDF类、打包；部署UDF

wps不显示打钩符号，如何加入打钩符号。在别人电脑显示正常的文档，为何在自己的电脑显示不正常。

数据的质量好坏决定了模型的性能和稳定性。所以，我们需要实时审视我们的数据，以下是一些做数据验证的指导原则。

更改或替换linux当前主机名有时自动生成的主机名特别长，再加上路径名，导致终端命令行中的提示符占了半屏。哪该如何缩短精简主机名和路径名呢？哪该如何缩短精简命令行提示符呢？那该如何替换主机名呢？

kafka-eagle配置指南

influxdb2入门：安装、时序数据概念、基本查询语法flux

阅读本文可以了解：RFC 3339时间格式细节、时区的设置。

本文主要提供一共同时执行多个聚合函数的思路。reduce函数、方差递推公式。欢迎一起讨论Flux查询语法。

NaN（Not-A-Number）在pandas里用作空值（NA），并且有函数 isna 和 notna 可以跨 dtypes 使用来检测 NA 值。

各种数据库系统和文件系统在表示空值时各有特色，不尽相同。因此，我们从各种数据库系统、文件系统导出数据时，空值会被各种各样的字符取代，例如：\NA、NULL、N、\001、NaN等。

当列中有空值时，列的原有类型会被忽略，同时会被提升到一个更『宽』或更『高』的类型来存储空值。

调用 info() 时会显示 DataFrame 的内存使用情况（包括索引）

pandas在一次加载超大文件（以G为单位）时，容易遇到内存溢出问题。有以下解决思路。思路：分而治之+精简数据

inux查看文件某一行

sed -i '1i\c1,c2,c3,c4,c5,c6,c7' data.csv# 创建一个文本data.csv,输入如下内容。col1,col2,col3,col4,col5,col6,col71,2,3,4,5,6,72,2,3,4,5,6,73,2,3,4,5,6,74,2,3,4,5,6,75,2,3,4,5,6,76,2,3,4,5,6,77,2,3,4,5,6,7# 在文件第一行插入文本『c1,c2,c3,c4,c5,c6,c7』sed -i '1i\c1,c2.

获取文件列数统计文件列数列数统计

linux获取文件第2和第6列的数linux获取文件第N列到最后一列数据linux剔除第一列，保留其他列linux获取文件指定列的数据linux获取文件某一列

如何查看要安装的包的版本是否适合当前python版本？如何查看要pip的包的版本是否适合当前python版本？如何查看要pip的package版本是否适合当前python版本？看对应版本的说明https://pypi.org/project/pandas/#history或者查看https://pypi.org/project/pandas/#filesdownload files里的Python version...

Mac 命令行中的复制粘贴

sublime Text设置空格缩进 tab键缩进4个空格

如何按给定索引处的元素对列表/元组的列表/元组进行排序？

mac如何移动移动文件

现象：mac下unzip解压一个压缩包（windows 下压缩的 zip 存档时，如果文件夹名或文件包含中文）是，出现类似如下的错误：error: cannot create �...Illegal byte sequence解决办法：

01获得某列:cut -d " " -f2 filename #获得filename的第二列，使用空格划分列02列变行：cat test.txt | awk '{printf "%s,",$0}'

默认情况下sublime是使用tab进行自动缩进，如何设置按tab键自动转化为4个空格？编辑器根据上下文自动缩进时也是应用四个空格呢？按照文中操作即可，这样一劳永逸。

1 顺序生成数组import numpy as nparr = np.range(5,11) # [5,11)print(arr)2 改变数据shapeimport numpy as nparr = np.range(5,11) # [5,11)arr = arr.reshape( (2,3) )print(arr)3 生成随机数import numpy as np# 生成随机整数数组arr = np.random.randint(low=50, high=101,

去重按照某几列去重 drop_duplicates,DataFrame定位数据,pandas过滤数据query,pandas Options and settings,pandas修改列名,pandas删除某列,pandas 实现one hot,pandas 打散shuffle数据,pandas 分箱 按分值划分不同组 cut,pandas 聚合groupby 重命名label,pandas多列应用正则过滤数据,pandas 对多列进行apply,pandas 将某列设为index,拼接DataFrame

tar压缩且加密文件openssl 对称加密算法enc命令详解

1、inner joininner join首先可以通过分区进行过滤，防止全表扫描。 inner join会自动为join的键（on d.id=u.department_id）添加is not null的过滤条件 inner join 下on和where后面的条件进行过滤，在inner join中where和on是同时进行过滤，没有顺序的区别2、left/right joinleft/right join使用分区条件过滤，可以防止全表扫描，最优先过滤 left/right join在主表下进

建表create table table_name(id string, name stirng, score double) partitioned by (dt string) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='gzip');

hive beeline的命令行脚本参数选项的介绍 ...

文件-属性-终端：终端类型选linux文件-属性-终端-键盘：Delete键序列设置为ASCII 127，BACKSPACE键序列设置为ASCII 127

python shell里敲删除键、方向键出^H ^[[D ，严重影响开发效率

pandas groupby agg as_index = False不符合预期怎么办？

python3字符串日期互转 日期字符串互转from datetime import datetime# 日期转字符串 date to strtoday = datetime.now()today_str = datetime.strftime(today, "%Y-%m-%d")# 字符串转日期 str to datedate_str = "2021-05-06"date_p = datetime.strptime(date_str,"%Y-%m-%d")