- 博客(8)
- 收藏
- 关注
RSS订阅
转载 【转】如何让技术想法更容易被理解?【费曼4步学习法】
转载文章，原文来自阿里云云栖号，地址：https://mp.weixin.qq.com/s/TXX7OTnxa8iiENMOJr3-cQ我这里是对原文的摘录，删掉了一些内容，只保留了我觉得有收获的地方。原文采用的是一种很经典的写作手法。（我忘记叫什么了，姑且叫做三段式、小故事、或者Q&A的写作手法吧～～）首先，描述一个故事，引出一个问题。其次，就该问题指出应该要做的心态和方法的转变。最后，给出一个可行的行动方法或方式。所以，我摘录的时候几乎舍弃了全部的故事描述，或者仅用一句话来总..
2021-02-03 17:54:36
234
转载 【转】25 个常用 Matplotlib 图的 Python 代码
作者 |zsx_yiyiyi转自 | 深度学习这件小事大家好，今天要分享给大家25个Matplotlib图的汇总，在数据分析和可视化中非常有用，文章较长，可以码起来慢慢练手。#!pipinstallbrewer2mplimportnumpyasnpimportpandasaspdimportmatplotlibasmplimportmatplotlib.pyplotaspltimportseabornassnsimportwarni...
2021-02-23 17:53:17
117
1
原创 MAC电脑安装Docker和常用命令
1、安装Docker下载地址：Docker Desktop for Mac 和常规的MAC-APP一样安装。完成后，可以通过客户端输入 docker version 来查看版本情况 2、Docker常用命令克隆cp创建容器build执行run保存push3、Docker理解Docker像是融合了Git、Maven的功能。...
2021-02-13 21:58:18
735
1
原创 注册spark UDF实例2【入门必修第二篇，添加外部依赖文件，python】
写在前面：工作中常用的一个数据场景是这样的： 有一个很小的文件 code_file.csv，里面是一些编码及含义（如：1001,北京），还有一个待转化处理的数据集存在HIVE表中，其中一个字段code就是要利用文件code_file.csv转成对应中文含义的字段。当我们使用Spark来处理这样一个大数据集和一个小文件的时候，当然你可以把小文件导入到HIVE表中，使用JOIN函数进行转换。但既然我们要练习UDF的使用，那这里肯定是写一个UDF来解决喽。把小文件读到函数里，进行查找替换的方.
2021-02-09 18:33:29
717
原创 注册spark UDF实例1【入门必修第一篇，简单函数注册，scala，python】
1、注册spark-SQLUDF自定义函数。使用spark.udf.register进行UDF注册，这样注册的函数既可以在SQL中使用，也可以在DataFrame的selectExpr表达式中使用。(1)scala语言第一步，注册UDF方法1：先定义函数，再进行注册// in scala//先定义一个函数def power3(number:Double):Double = number * number * number//将函数注册成spark-sql的UDFspark.u.
2021-02-09 17:12:09
4653
原创 explode和 lateral view explode函数解析非结构化的map数据类型
工作中遇到使用了Map结构来存储的数据。比如下面所示的这种：（数据表1）col1 col2 {24235:r2,98766:r3} {65432:r1,35689:r2,24577:r3} {13245:r3} {34567:r1,87654:r3} 需求是解析出所有的key，即24235，98766，65432，35689，.... 并统计这些key分别出现了多少次、每个key对应的value值（即r2, r3, r1...）按照key做分组聚合累加是多少。.
2021-02-08 12:32:45
3639
翻译 7、spark的生产应用提交脚本spark-submit
一、通过查询命令spark-submit --help 来查看提交任务时有哪些选项可以用。Options: 说明 备注 --master MASTER_URL spark://host:port, mesos://host:port, yarn, k8s://https://host:port, or local (Default: local[*]). 常用local本地模式、yarn集群模式 --deploy-mode DEPLO...
2021-02-04 19:01:23
1266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人