自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(582)
  • 收藏
  • 关注

转载 Sparksql的介绍以及常见操作

sparksql

2022-12-29 19:11:19 199

原创 大数据学习

hadoop 大数据 spark

2022-11-07 19:54:00 621

原创 python url json request 字符串

python

2022-11-03 20:06:05 181

原创 redash二次开发和制作镜像

docker 镜像 项目 flask

2022-10-05 16:25:15 407

原创 python脚本容器化运行

python docker

2022-09-18 12:43:34 478

转载 Kubernetes 工作流引擎:Argo(1)

argo

2022-08-21 15:53:12 753

转载 大数据基础

大数据

2022-08-20 15:09:40 190

转载 大数据应用案例分析

大数据

2022-08-20 15:06:53 434

转载 经典大数据架构案例:酷狗音乐的大数据平台重构

大数据

2022-08-18 09:51:13 714

转载 记一次DNS服务器负载过高的排查过

dns负载高

2022-08-14 14:04:45 451

原创 python 两个文件对比,以文件1为标准将文件2中有相等的内容整行取出

python

2022-08-14 08:11:50 227

原创 python 将一列文本或字符串调整成一行 中间用逗号 单引号分隔和变量引用可以整合为为字符串拼接

python 用逗号 单引号链接字符串 变量引用

2022-08-08 22:33:42 965

转载 堪称范本!腾讯运维转型之 SRE 体系建设

sre树

2022-08-07 13:30:50 956

转载 以阿里为例,详解SRE的团队建设与职能分工

sre树

2022-08-07 13:28:19 1698

转载 Google那套SRE你还敢用吗?谁说SRE本质是个懂运维的资深开发?丨话题接力

sre树

2022-08-07 13:26:45 153

原创 python 将一个文件中的空格替换成逗号 写入新文件

python 替换

2022-08-03 16:01:28 1577

原创 python第一个接口返回的数据作为第二个接口的参数

python 参数 url

2022-07-24 17:47:27 528

原创 python 操作数据库根据用户需要执行select或update或del等操作

python shell mysql

2022-07-12 16:13:59 317

原创 python消费kafka

python 和 shell

2022-07-10 21:40:06 1165

原创 python和shell常用语法

python和shell

2022-07-04 00:05:08 321

原创 shell脚本文件遍历 str转数组 字符串拼接

python shell

2022-07-02 00:32:28 392

原创 python获取虚拟机资源 保存到文件中 文件超过一定大小删除或转存

python shell 获取虚拟机资源 文件大小 删除

2022-06-30 23:47:00 105

原创 python OPEN文件,取出某列,转化成天,然后和当前时间【从1月1日到现在多少天】做比较,得出不可用百分比

python shell

2022-06-30 07:34:51 206

原创 shell第一个命令结果传入第二个命令删除

python和shell

2022-06-29 22:52:53 182

原创 python根据一个文件中的key和另外一个文件key对比,同时提取value

python 文件 key value 对比

2022-06-29 00:26:41 289

原创 python request url json和多层嵌套

request url json

2022-06-26 14:47:53 377

原创 python文件内对应列相乘在求和

python运维脚本

2022-06-25 14:52:42 462

转载 电商推荐系统论文:基于Spark机器学习的电商推荐系统的设计与实现,大数据电商推荐系统毕设论文,Spring MLlib电商推荐系统

毕 业 设 计(论 文)题 目: 基于Spark机器学习的电商推荐系统的设计与实现这是我去年本科毕业时做的毕业设计论文,全文三万多字,知网查重对重复率1%,由于本科论文不会被发表到知网上,再加上我已毕业近一年,现在将论文发表到CSDN。如有需要做毕设论文可引用本文对内容,先到先得(内容纯原创,少有重复)。由于作者对水平有限,文章中难免有错误对内容或作者对相关技术有错误对见解,望读者予以谅解,谢谢!接上篇文章:电商推荐系统(下):实时推荐服务、实时框架、实时推荐算法、获取用户的K次最近评分、商品推

2022-06-16 09:36:41 1385 1

转载 python调试

python调试

2022-06-07 06:53:53 1121

转载 美团围绕故障管理谈SRE体系建设

本文根据石鹏老师在〖deeplus直播第227期〗线上分享演讲内容整理而成。(文末有获取本期PPT&回放的方式,不要错过)石鹏美图SRE负责人 2016年加入美图,运维技术专家,目前担任产品SRE负责人。 负责美图社交、直播、电商、商业化等全线产品的运维工作。 我们都知道SRE是一个体系化的工程,SRE体系的建设涉及的内容繁多,比如日常需求处理、容量规划、资源部署、监控告警、预案梳理、灾备演练、OnCall值班、应急事件响应、故障处理、运维自动化建设等等;其中「故障」

2022-04-23 20:41:20 807

转载 SRE/运维保障体系的建设

SRE/运维保障体系的建设/SLA前言运维的基础工作通常是针对现有系统及项目的,例如服务器、各类云产品,正在运行的项目、监控、账号权限管控,项目上线等等,是宽泛而繁琐的,少有建设性的内容。那当我们接手一套新的系统,就有必要将它本身及周边进行完善。可能少数公司有较为全面的运维体系,有我们的桌面运维,网络运维,安全运维,研发运维、数据库运维以及系统运维或应用运维等专业团队,而更多的公司运维可能只有1-2个。以上的岗位工作都需要完成,但以下我们着重会聊到应用运维。在接触新环境时,面对的是上任留下的坑,这

2022-04-23 12:42:53 499

转载 linux sort,uniq,cut,wc等命令详解

sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。sort语法[root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数:-f :忽略大小写的差异,例如 A 与 a 视为编码相同;-b :忽略最前面的空格符部分;-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;-n :使用『纯数字

2022-03-13 20:31:12 175

转载 awk详解

简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥

2022-03-13 19:24:28 9073

原创 shell面试和工作常用脚本

#########################################https://www.cnblogs.com/cheyunhua/p/14768045.htmlhttps://blog.csdn.net/jj1130050965/article/details/122937350https://blog.csdn.net/heian_99/category_9675115.html1.Dos 攻击防范(自动屏蔽攻击IP)#!/bin/bashDATE=$(date +%d/

2022-02-26 21:57:55 1543

转载 k8s网络插件之——flannel 和 calico的网络原理

原文出处:无限飞翔 » 白话 flannel 和 calico 网络原理概括容器虚拟化网络方案,总体分为2种截然不同的发展路线:基于隧道 基于路由下面分别说一下这两种思路的原理,以及和flannel、calico的关系。一 标题基于隧道隧道方案最具普适性,在任何网络环境下都可以正常工作,这与它的原理密不可分。最常见的隧道方案是flannel vxlan模式,以及calico的ipip模式,其核心原理包含了2个部分。1.分配网段每台宿主机上都有网络插件的agent进程,它们连

2022-02-24 10:46:04 412

转载 OpenStack多租户实现原理有过了解吗?

多租户隔离级别云计算中的租户概念是底层基础架构资源共享与隔离之间的一种权衡技术实现,对于云计算尤其是公有云而言,底层资源共享程度越高,资源利用率就越高,因此也就更能显现公有云的规模效益。多租户技术出现可以认为是公有云中用以解决资源共享与隔离这对矛盾的有效方案。OpenStack在计算、网络、存储方面的多租户隔离实现计算资源多租户隔离在某些情况下,用户对性能和安全性要求较高,因此可能希望将自己的虚拟机创建在专属的物理宿主机上,从而与其他用户的虚拟机从物理机上隔离,此时就需要实现SharedNot

2022-02-24 09:32:05 543

转载 对象存储(云存储)概述

文章目录三种存储形态1、块存储2、文件存储3、对象存储对象存储对象存储需求对象存储含义对象存储与传统网络存储的区别扩展知识:NAS与SAN概述1、NAS(Network Attached Storage)优点局限2、SAN(Storage Area Network and SAN Protocols)优点局限对象存储的特性1、优秀的扩展性2、基于策略的自动化管理3、多租户技术扩展知识:多租户技术介绍对象存储结构1、对象(Object)2、对象存储设备3、元数据

2022-02-24 09:31:26 1948

转载 Ceph分布式存储系列(六):对象存储、块存储、文件存储的区别和优缺点

承接上文Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理分布式存储总体分为对象、块、文件三种存储类型,且ceph同时支持这三种存储类型,那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境。回顾存储史 之 三种传统的存储架构:了解三种存储类型之前,先来回顾下传统以来的 三种存储架构:DAS(Direct Attached Storage) 传统的直连式存储,硬盘等物理存储与设备直连的方式,如个人电脑,普通服务器等连接方式:客户端 - - 物理硬盘SAN(Network

2022-02-24 09:29:21 801

转载 Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理

一、Ceph简介 众所周知,ceph是一种分布式存储系统,是有着“ceph之父”之称的Sage Weil读博期间的研究课题,项目诞生于2004年,在2006年基于开源协议开源了Ceph的源代码,在经过了数年的发展之后,已经成为了开源社区受关注较高的项目之一。 Ceph可以将多台服务器组成一个超大集群,把这些机器中的磁盘资源整合到一块儿,形成一个大的资源池(支持PB级别),然后按需分配给客户端应用使用。ceph官网:https://ceph.com/ceph官方文档:https://doc...

2022-02-24 09:28:29 1017

转载 ITIL-IT运维管理-概述

ITIL-IT运维管理-概述概述IT服务管理(ITSM)是一套帮助企业对IT系统的规划、研发、实施和运营进行有效管理的方法,是一套方法论。ITSM起源于ITIL(IT Infrastructure Library,IT基础架构标准库),ITIL是CCTA(英国国家电脑局)于1980年开发的一套IT服务管理标准库。它把英国在IT管理方面的方法归纳起来,变成规范,为企业的IT部门提供一套从计划、研发、实施到运维的标准方法。中文名 IT服务管理 外文名 ITService Management专家的

2022-02-20 18:29:51 2610

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除