h18208975507的博客

原创 python获取当前路径、路径下子目录和文件

def file_name(file_dir): for root, dirs, files in os.walk(file_dir): # print(root) # 当前目录路径 # print(dirs) # 当前路径下所有子目录 # print(files) # 当前路径下所有非目录子文件 with open('sql_test', 'a') as f: for x in files: .

原创 spark-submit 详细参数说明

原创 mysql 类型转换

mysql存在两个转型的函数 CAST(字段名 as 需要转换的类型 ) CONVERT(字段名,需要转换的类型)。支持转型的类型：类型 备注 DATE YYYY-MM-DD DATETIME YYYY-MM-DD HH:mm:ss TIME HH:mm:ss DECIMAL 通常用于带小数位 CHAR 固定长度字符串 NCHAR 类型于CHAR一致 SIGNED 一个有符号的64整数...

原创 pyspark.sql.types支持的数据类型与python数据类型

Spark SQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。如果“表”来自于Hive，它的模式（列名、列类型等）在创建时已经确定，一般情况下我们直接通过Spark SQL分析表中的数据即可；如果“表”来自“临时表”，我们就需要考虑两个问题：（1）“临时表”的数据是哪来的？（2）“临时表”的模式是什么？通过Spark的官方文档可以了解到，生成一张“临时表”需要两个要素：（1）关联着数据的RDD；（2）数据模式；也就是说，我们需..

原创 docker容器内pip源更新

创建pip.conf文件$ mkdir ~/.pip$ vim ~/.pip/pip.conf添加以下内容[global]index-url = http://pypi.douban.com/simple[install]use-mirrors =truemirrors =http://pypi.douban.com/simple/trusted-host =pypi.douban.com或者[global]index-url=https://mirrors.aliyun