自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Toby的博客

苟有恒,何必三更起五更眠;最无益,只怕一日曝十日寒。Open your eyes, and you will meet those who are striving on the way like you and feel the way you do.

  • 博客(8)
  • 收藏
  • 关注

转载 【转】如何让技术想法更容易被理解?【费曼4步学习法】

转载文章,原文来自阿里云云栖号,地址:https://mp.weixin.qq.com/s/TXX7OTnxa8iiENMOJr3-cQ我这里是对原文的摘录,删掉了一些内容,只保留了我觉得有收获的地方。原文采用的是一种很经典的写作手法。(我忘记叫什么了,姑且叫做三段式、小故事、或者Q&A的写作手法吧~~)首先,描述一个故事,引出一个问题。其次,就该问题指出应该要做的心态和方法的转变。最后,给出一个可行的行动方法或方式。所以,我摘录的时候几乎舍弃了全部的故事描述,或者仅用一句话来总..

2021-02-03 17:54:36 234

转载 【转】25 个常用 Matplotlib 图的 Python 代码

作者 |zsx_yiyiyi转自 | 深度学习这件小事大家好,今天要分享给大家25个Matplotlib图的汇总,在数据分析和可视化中非常有用,文章较长,可以码起来慢慢练手。#!pipinstallbrewer2mplimportnumpyasnpimportpandasaspdimportmatplotlibasmplimportmatplotlib.pyplotaspltimportseabornassnsimportwarni...

2021-02-23 17:53:17 117 1

原创 《TensorFlow实战-Google深度学习框架》笔记

TensorFlow实战-Google深度学习框架

2021-02-17 23:38:27 237

原创 MAC电脑安装Docker和常用命令

1、安装Docker下载地址:Docker Desktop for Mac 和常规的MAC-APP一样安装。完成后,可以通过客户端输入 docker version 来查看版本情况 2、Docker常用命令克隆cp创建容器build执行run保存push3、Docker理解Docker像是融合了Git、Maven的功能。...

2021-02-13 21:58:18 735 1

原创 注册spark UDF实例2【入门必修第二篇,添加外部依赖文件,python】

写在前面:工作中常用的一个数据场景是这样的: 有一个很小的文件 code_file.csv,里面是一些编码及含义(如:1001,北京),还有一个待转化处理的数据集存在HIVE表中,其中一个字段code就是要利用文件code_file.csv转成对应中文含义的字段。当我们使用Spark来处理这样一个大数据集和一个小文件的时候,当然你可以把小文件导入到HIVE表中,使用JOIN函数进行转换。但既然我们要练习UDF的使用,那这里肯定是写一个UDF来解决喽。把小文件读到函数里,进行查找替换的方.

2021-02-09 18:33:29 717

原创 注册spark UDF实例1【入门必修第一篇,简单函数注册,scala,python】

1、注册spark-SQLUDF自定义函数。使用spark.udf.register进行UDF注册,这样注册的函数既可以在SQL中使用,也可以在DataFrame的selectExpr表达式中使用。(1)scala语言第一步,注册UDF方法1:先定义函数,再进行注册// in scala//先定义一个函数def power3(number:Double):Double = number * number * number//将函数注册成spark-sql的UDFspark.u.

2021-02-09 17:12:09 4653

原创 explode和 lateral view explode函数解析非结构化的map数据类型

工作中遇到使用了Map结构来存储的数据。比如下面所示的这种:(数据表1)col1 col2 {24235:r2,98766:r3} {65432:r1,35689:r2,24577:r3} {13245:r3} {34567:r1,87654:r3} 需求是解析出所有的key,即24235,98766,65432,35689,.... 并统计这些key分别出现了多少次、每个key对应的value值(即r2, r3, r1...)按照key做分组聚合累加是多少。.

2021-02-08 12:32:45 3639

翻译 7、spark的生产应用提交脚本spark-submit

一、通过查询命令spark-submit --help 来查看提交任务时有哪些选项可以用。Options: 说明 备注 --master MASTER_URL spark://host:port, mesos://host:port, yarn, k8s://https://host:port, or local (Default: local[*]). 常用local本地模式、yarn集群模式  --deploy-mode DEPLO...

2021-02-04 19:01:23 1266

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除