- 博客(51)
- 收藏
- 关注
RSS订阅
原创 Django入门
1. Django的框架模式 - MTVM： Model层 模型层，负责数据库的建模以及CRUD操作T： Templates层 模板层，用于处理用户显示的内容，如HTMLV： Views层 视图层， 处理与用户交互的部分操作，从模型中提取数据 MVC:Model（同M） Views(同T) Controllers（处理与用户交互的部分内容，从模型中获取数据，再交给视图层，再显示给用户2. Django的使用1....
2022-01-10 22:51:20
2020
原创 Mysql主从配置
Mysql的主从架构模式，是很多企业广泛使用，并且大家所广为熟知的一种架构模式，从主从模式搭建配合MHA实现故障自动化的感知迁移，这都是DBA所应该熟练掌握的技能。Mysql主从+MHA的架构实现和搭建。
2022-01-09 22:51:03
753
原创 etcd入门详解
1. etcd简介 简介 Etcd是CoreOS基于Raft协议开发的分布式key-value存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。 在分布式系统中，如何管理节点间的状态一直是一个难题，etcd像是专门为集群环境的服务发现和注册而涉及，它提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能，可以方便的跟踪并管理集群节点的状态。 特点 简单：curl可访问的用户的API（HTT...
2021-12-18 01:10:53
33077
6
原创 Docker核心技术
一. Docker1. 简介基于Linux内核的Cgroup, Namespace, 以及Union FS等技术，对进程进行封装隔离，属于操作系统层面的虚拟技术，由于隔离的进程独立于宿主和其它的隔离进程，因此称为容器 最初实现是基于LXC， 从0.7以后开始去除LXC， 转而使用自行开发的Libcontainer， 从1.11开始， 则进一步演进为使用runC和Containerd Docker在容器的基础上，进行了进一步的封装，从文件系统、网络互联到进程隔离等等，极大的简化了容器的创建和维护
2021-11-22 00:48:58
2677
2
原创 Go语言快速入门
一. 下载GOgo安装文件以及源代码Downloads - The Go Programming Language下载对应平台的二进制文件以及安装环境变量 GOROOT： go的安装目录 GOPATH： src 存放源代码 pkg 存放依赖包 bin 存放可执行文件 其他常用变量： GOOS GOARCH GOPROXY
2021-11-10 21:39:13
1826
1
原创 grafana安装和介绍
一. grafana介绍grafana是一个可视化面板，有着非常漂亮的图表，布局方便数据源可以使用zabbix、influxdb等二. centos下安装grafana grafana的下载和安装 Download Grafana | Grafana Labshttps://grafana.com/grafana/download下载地址：https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana
2022-05-07 16:08:36
1331
1
原创 使用Influxdb自带函数查询
influxdb提供了一些内置函数，这些函数方便grafana拉取数据。 查询非空值的数量 SELECT COUNT(value) FROM cpuinfoinsert cpuinfo,item=shijiange_47.105.99.75_cpu.idle value666=90SELECT COUNT(value) FROM cpuinfo 查询唯一值 SELECT DISTINCT(value) FROM cpuinfo 查询平均值 SELECT MEA
2022-05-07 15:51:41
1613
原创 Influxdb数据库的简单操作
一. influxdb数据库操作show databasescreate database shijiangedrop database shijiange二.measurement(类似于表)操作use shijiange #操作哪个库需要用useshow measurements #查询所有measurementinsert cpuinfo,item=shijiange_47.105.99.75_cpu.idle value=90 #无需创建measurement，可.
2022-05-07 15:47:35
834
原创 influxdb开启登录认证
操作influxdb数据库准备开启认证 influx --help #查看influx客户端的使用帮助influx #默认连接到localhost:8086show users #查看所有用户，默认没有CREATE USER "root" WITH PASSWORD '123456789' WITH ALL PRIVILEGES #创建shijiange用户，密码'123456789' ，管理员权限 开启认证 influxdb增加auth配置如下，并重启influxdb(..
2022-05-03 23:04:16
3108
原创 Spark Streaming-附有代码
一. 官方参考链接Spark Streaming - Spark 3.2.1 Documentationhttp://spark.apache.org/docs/latest/streaming-programming-guide.html二. Spark Streaming 核心抽象 DStream 简介 is an extension of the core Spark API tenables scalable, high-throughput, ...
2022-05-03 22:51:57
1200
原创 Spark SQL-附有代码
一. Spark SQL提供的操作数据的方式SQLDataFrame APIDataset API一个用于处理结构化数据的Spark组件，强调的是“结构化数据”，而非“SQL”二.Spark SQL不仅仅是SQL这么简单的事情，它还能做更多的事情Hive: SQLSpark SQL: SQL三. Spark SQL架构以及处理流程Sql -->抽象语法树-->逻辑执行计划 -->优化过后的逻辑执行计划-->物理执行...
2022-03-03 10:08:13
2380
原创 RDD常用算子编程-附有代码
一.RDD常用操作1. 操作流程transformation are lazy, noting actually happen until an action is calledaction trigger the computationaction returns values to driver or writes data to external storage3. Actionreturn a value t...
2022-01-18 00:13:41
2044
原创 UnicodeEncodeError: ‘charmap‘ codec can‘t encode characters， Jenkins中调用python脚本报错
1. 问题现象 更换了windows构建环境，手动去执行python脚本不会报错，可是使用jenkins的时候脚本总是会异常退出，代码中加入Exception信息打印，发现了报错信息为：UnicodeEncodeError: ‘charmap‘ codec can‘t encode characters2. 原因分析 手动执行无问题，jenkins调度的时候会异常报错退出，是由于环境变量不统一导致两边的执行结果不一致，需要检查所使用的环境变...
2022-01-17 23:26:11
2653
原创 tornado入门
1. 基本九行代码实现Tornado服务器程序class IndexHandler(RequestHandler): def get(self, *args, **kwargs): self.write('Hello Tornado') def post(self, *args, **kwargs): passapp = Application(handlers=[('/',IndexHandler)])server = HTTPServer(ap
2022-01-09 23:53:46
477
原创 Linux入门
一. 三大操作系统UnixAIX(IBM)Solaris(SUN/Oracle)MAC OS X(Apple)IOS (Apple)LinuxUbuntu:RedhatCentOSAndroid(安卓)Windowswin10, win7 winxp, win98, win95, win3.2二. 计算机的组成...
2022-01-09 23:29:57
200
原创 Name or service not known， ping域名报错
Linux系统ping域名失败，提示Name or service not known
2022-01-06 21:20:42
63298
3
原创 Kubernetes安装和常用命令使用
一. Docker配置修改1. 安装可以参考：Docker核心技术_钟哥哥实在帅的博客-CSDN博客2.vim /etc/docker/daemon.json2. 重启docker服务二. Kubernetes安装1. 设置网桥规则2. 安装apt-transport-https ca-certificates curl3. 安装kubeadm, kubelet and kubectl 设置源 安装 阻断自...
2021-12-13 22:09:48
1574
原创 Kubernetes 架构原则和对象设计
一. Kubernetes 简介 kubernetes是谷歌开源的容器集群管理系统，是google多年大规模容器管理技术Borg的开源版本，主要功能包括：基于容器的应用部署、维护和滚动升级 负载均衡和服务发现跨机器和跨地区的集群调度自动伸缩无状态服务和有状态服务插件机制保证扩展性
2021-11-30 23:08:10
507
原创 高并发系统设计详解
常见面对高并发大流量的方法1. scale-out（横向扩展）： 分而治之是一种常见的高并发系统设计方法， 采用分布式部署的方法把流量分流开，让每个服务器都承担一部分并发和流量2. 缓存：使用缓存来提高系统的性能，就好比用“扩宽河道”的方式抵抗高并发大流量冲击3. 异步：在某些场景下，未处理完成之前我们可以让请求先返回，在数据准备好之后再通知请求方，这样可以在单位时间内处理更多的请求。Scale-out VS Scale-upScale-up：将类似于追逐摩尔定律不断提升CPU性能
2021-10-30 01:08:48
590
原创 Kafka - 消息队列
Kafka 基础概念KafkaKafka 已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。行为流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。包括页面访问量 PV、页面曝光 Expose、页面点击 Click 等行为事件； 实时计算中的 Kafka Source，Dataflow Pipeline； 业务的消息系统，通过发布订阅消息解耦多组微服务，消除峰值；Kafka 是由 LinkedIn 开发并开源的分布式消息系统，因其分布式及高吞吐率...
2021-09-11 00:51:37
341
2
原创 Python源码在windows（VS2015）下的编译和安装
Python3.7源码在windows（VS2015）下的编译和安装下载官方源码，使用vs2015（WIN10SDK），最python3.7.0的源码进行编译，编译出不同的版本（release，debug），并配置python的运行环境（环境变量的配置）。测试环境介绍和准备测试环境：操作系统：windows10Python版本：3.7.0VS版本：vs2015社区版（免费）相关工具下载：VS版本vs2015社区版（免费）win10SDK（安装vs2015是可以选择，如果没
2021-06-20 01:01:35
962
原创 python 中import ssl报错：Failed to execute script pyi_rth_certifi
当为了解决python3.9.2版本中自带openssl1.1.1i的组件漏洞，所以直接复制openssl1.1.1k的libssl-1_1.dll来进行替换，然后使用pyinstaller打包出来的exe当运行的时候会报下面的错误解决办法安装OpenSSL库下载页面：https://slproweb.com/products/Win32OpenSSL.html默认安装之后就可以了参考：https://bugs.python.org/issue39344ht...
2021-06-20 00:58:22
960
原创 python网络编程(socket ) ipv6/ipv4服务端
IPV4服务端import socketimport subprocessip_addr = ('127.0.0.1',8000) #定义链接端口，用于yi一台电脑模拟server和client通信是127.0.0.1tcp_server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #初始socket，创建套字节tcp_server.bind(ip_addr) #初始化tcp连接tcp_server.listen(5) ...
2021-06-16 23:31:49
2772
原创 Ansible-python
Ansible优势Ansible是python的一套完整的自动化执行任务模块 Ansible的play_book模式，采用yaml配置，对于自动化任务执行一目了然 自动化场景支持丰富（shell,定时，用户管理或者第三方模块）Ansible安装通过系统的方式yum, apt-get等 通过python方式Python ./setup.py installEasy_insatll ansiblePip install ansibleAnsible的配置文件/etc/an..
2021-04-01 01:07:30
3045
1
原创 celery + django附有代码和注释
Celery是什么工作模式使用场景参考：https://blog.csdn.net/yanyangjie/article/details/78840897手册：http://docs.celeryproject.org一. 环境安装windows下安装包（4版本已经移除对windows的支持，所以只能使用低版本的）pip install celery==3.1.25pip install celery-wi...
2021-04-01 00:56:44
377
3
原创 docker容器环境平台搭建
一、机器准备1、系统版本ubuntu16.04 (64位数)2、内核版本＃uname -r 4.4.0-31-generic3、一台硬件服务器、或者虚拟机二、安装docker服务1、安装ca证书//更新源$ apt-get update$ sudo apt-get install apt-transport-https ca-certificates2、倒入GPG密钥$ sudo apt-key adv--keyserver hkp://ha.pool.s..
2021-04-01 00:36:15
769
原创 Prometheus的架构与基本使用方式
node-exporter下载node-exporter，运行./node_exporter本地查询：curl localhost:9100/metrics | grep -i node_cpu | head/home/tarena/app/node_exporter/Chmod 777 node_exporter_start.shdaemonize -c /home/tarena/app/node_exporter/ /home/tarena/app/node_exporter...
2021-04-01 00:34:27
369
原创 Grafana基本使用
GRAFANA图形设置General：Transparant: 透明化height: 设置高度Metrics:Legend format : 类似于 {{instance}} {{cpu}} {{mode}}选择所要展示的项目Lengend:标签项目哪里做配置Option: 用于展示标签 As table / To the rightValues: 对输出数值进行设置显示在标签处，平均值/最大值/最小值等Display:Draw options: 用于对图进行操作Grafana
2021-04-01 00:32:58
2334
转载 go generate的使用，减少相同逻辑重复代码工作量
go generate命令是在Go语言 1.4 版本里面新添加的一个命令，当运行该命令时，它将扫描与当前包相关的源代码文件，找出所有包含//go:generate的特殊注释，提取并执行该特殊注释后面的命令。使用go generate命令时有以下几点需要注意：该特殊注释必须在 .go 源码文件中；每个源码文件可以包含多个 generate 特殊注释；运行go generate命令时，才会执行特殊注释后面的命令；当go generate命令执行出错时，将终止程序的运行；特殊注释必须以//go:gen
2021-04-01 00:27:19
500
转载 windows环境下go module的使用和goland配置
Golang学习之路 连载一 Windows使用go mod命令及Goland配置tips:本文使用的golang版本go1.12.6 shell使用Windows Terminal一、安装Golang官方网站下载 中文网站下载二、Golang项目目录结构使用GOPATH项目目录配置 __ |_ bin # 编译后生成的可执行文件 |_ pkg # 编译后生成的文件 |_ src # 代码文件夹 |_ tets_go_mod 使用go mod管理
2020-12-21 23:49:35
1999
原创 针对linux下/sys/bus/pci/devices目录下文件夹解释说明
一般一类设备在出厂的时候会有相同的一串classid,而classid记录在/sys/bus/pci/devices/*/class文件中如果知道出厂设备的classid，可以通过以下命令进行查询出对应devices目录下那个目录grep -irn /sys/bus/pci/device/*/class然后/sys/class目录下net/scsi_host/fc_host/infiband_host等是/sys/bus/pci/devices/*/class下面pci设备的映射，映射到它们
2020-11-03 00:49:44
5647
原创 iB卡驱动加载使用命令
IB卡在BMC上面有显示，但是在系统侧没有显示，这往往是因为IB卡驱动没有进行加载，可以选择如下命令进行使用modprobe mlx5_core;modprobe mlx5_ib;modprobe ib_ipoib问题解决如果觉得这篇文章对自己有帮助，可以点击关注分享，谢谢！...
2020-11-03 00:38:28
870
2
原创 -bash: /dev/null: Permission denied或者交叉编译时候卡住的解决办法解决方法
当编译驱动的时候发生如下报错或者卡住在make的时候：解决办法：rm -rf /dev/nullmknod /dev/null c 1 3chmod 666 /dev/nullrm -rf /dev/randommknod-m 666 /dev/random c 1 8rm -rf /dev/urandommknod-m 666 /dev/urandomc 1 9...
2020-11-03 00:33:13
770
原创 交叉编译环境设置获取uname脚本, 可以参考以下步骤来实现
拷贝下面的脚本uname.sh到交叉编译环境/usr/bin目录下，当这些步骤操作完后，即可以正常进行交叉编译chroot 交叉编译环境路径cd /usr/binmv uname uname.binln -s uname.sh unamechmod +x unameexituname.sh脚本如下#!/bin/bashOUTPUT=`uname.bin $*`if test -f /.kernelversion ; then REALNAME=`cat /.ke.
2020-11-03 00:25:57
321
原创 modprobe报错： Use--allow-unsupported or set allow_unsupported_modules 1
加载驱动的时候，modprobe报错如下：ERROR:Use--allow-unsupported or set allow_unsupported_modules 1 in /etc/modprobe.d/10-unsupported-modules.conf修改/etc/modprobe.d/10-unsupported-modules.conf文件0为1，问题解决
2020-11-02 23:54:42
978
原创 使用yum报错Your license is invalid.
当使用yum报错：vi /etc/yum/pluginconf.d/license-manager.confenabled=1 改成 enabled=0修改完后yum即可以正常使用
2020-11-02 23:49:57
3613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人