python
闻香识代码
这个作者很懒,什么都没留下…
展开
-
脚本通知告警--避免临时被加班小助手(shell python)
脚本通知告警–避免临时被加班小助手1. 背景在企业开发中,不管是java后台,爬虫,大数据开发,运维等都面临需要定时执行任务的需求。而这种定时任务属于一个周期内需要执行多少次,并且有相对固定的启动时间。这时候就需要使用脚本定时启动工具。linux作为程序员使用最广泛的操作系统,自带了crontab 功能,可以按照时分秒年月日等维度做脚本启动管理。但有一个问题,这个功能相对原始,如果需要对脚本的先后执行顺序,失败策略等做处理,则需要在脚本中进行逻辑处理,而这毫无疑问会让脚本逻辑变得复杂起来。azka原创 2020-10-19 20:46:10 · 615 阅读 · 1 评论 -
Spark之PySpark使用
Spark之PySpark使用1. 背景Spark支持对多种编程语言的api,包括java、scala、python根据官方文档介绍,python其实是使用Spark框架最多的语言Spark支持对python的shell,api2. 环境配置在spark集群上安装python3, 版本必须是3.6以上yum install -y python3注意,安装好之后,使用python3 -V即可查看版本,python指令是指代python2版本的2. 修改所有spark集群节点的环境原创 2020-09-17 21:58:41 · 690 阅读 · 0 评论