dz45693的专栏

在开发grpc的时候，Go gRPC 调试工具可以说是必备工具。安装：go get github.com/fullstorydev/grpcui go install github.com/fullstorydev/grpcui/cmd/grpcuigrpcui -help #验证是否安装准备grpc项目，如：hello.proto 和main.gosyntax = "proto3";option go_package = "./;proto"; package pr.

最近经常下载一些小朋友的资源，发现很多都是压缩文件， 几百个， 于是写程序解压。using Microsoft.Win32;using System;using System.Diagnostics;using System.IO;namespace ConsoleApp1{ class Program { static void Main(string[] args) { //Console.WriteLine(Exi

在以前的文章中go任务调器gocron和xxl-job 尝试xxl和gin的整合，由于项目统一用iris 所以需要研究出如何与iris整合， 直接上代码：package mainimport ( "context" "fmt" "log" "github.com/kataras/iris/v12" "github.com/xxl-job/xxl-job-executor-go")func main() { exec := xxl.NewExecutor( xxl.Serv

书接上文Go Grpc部署到 k8s【负载均衡】grpc server端我们暴露了9090和8080端口，这次我们的http服务用iris,并且绑定到9090端口。GO文件服务端代码main.go：package mainimport ( "context" "fmt" pb "grpcdemo/protos" "net" "github.com/kataras/iris/v12" "github.com/kataras/iris/v12/middleware/logger.

用docker安装rocketMq#需要创建文件夹/docker/namesrv/logs/docker/namesrv/store/docker/rocketmq/logs/docker/rocketmq/store#需要创建文件/docker/rocketmq/broker.conf文件内容如下:brokerClusterName = DefaultClusterbrokerName = broker-abrokerId = 0deleteWhen = 04fileRes

简介Istio 提供一种简单的方式来为已部署的服务建立网络，该网络具有负载均衡、服务间认证、监控等功能，而不需要对服务的代码做任何改动。istio 适用于容器或虚拟机环境（特别是 k8s），兼容异构架构。istio 使用 sidecar（边车模式）代理服务的网络，不需要对业务代码本身做任何的改动。HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。istio 通过丰富的路由规则、重试、故障转移和故障注入，可以对流量行为进行细粒度控制；支持访问控制、速率限制和配额。istio

网上关于grpc的服务发现和负载均衡很多是是用consul，我这里尝试用nacos来做试验吧，关于grpc的负载均衡 网上有很多说的 head less 【修改 Service 的 spec.clusterIP 为 ”None“】， 当然还有nginx-ingress-controller ,我实验过 都不怎么理想 索性自己从零开始.项目结构如下：nacos里面的nacos.go 如下：package nacosimport ( "net" "github.com/naco.

问题worker节点运行正常，因为安装其他软件我就重启了一下，结果发现kubectl get nodes显示node1 notReady，这时执行kubectl describe node node1发现node1上的kubelet没有正常运行，我手动执行systemctl start kubelet.service没有报错，但是当我执行systemctl statuskubelet.service发现服务失败了。执行journalctl -xeu kubelet发现具体的错误信息：关键信息就是

在以前的文章 Ubuntu 18 Kubernetes集群的安装和部署 以及Helm的安装 和 Centos 使用kubeadm安装Kubernetes 1.15.3，由于某些原因需要更新版本，索性直接安装最新的版本来试一下。Install 1.安装并启用 Dockersudo apt install docker.iosudo systemctl enable dockerdocker --version2.添加Kubernetessigning key和Rep...

主要使用https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/这个说明， 一般主要是创建pod 和svc，以及更新pod，直接上代码如下：from kubernetes import client, configfrom kubernetes.client.rest import ApiExceptiondef main(): #可以用以下命令把token 放到一个 文件中 # Token.

本来想研究一下nacos的服务发现，原来sample这么详细啊，直接运行代码吧：package mainimport ( "fmt" "time" "github.com/nacos-group/nacos-sdk-go/clients" "github.com/nacos-group/nacos-sdk-go/clients/naming_client" "github.com/nacos-group/nacos-sdk-go/common/constant" "github.co

根据生产环境要求，需要采集K8S Pod 日志，和开发协商之后，Pod中应用会将日志输出到容器终端上，这时可以直接用filebeat 采集node节点上面的/var/log/containers/*.log日志，然后将日志输出到kafka消息队列中，经过kafka将日志写入logstash进行格式化，然后由logstash传入elasticsearch存储，然后kibana会连接elasticsearch展示索引数据。数据传输流程：Pod ->/var/log/containers/*.log..

使用ELK+Filebeat架构，还需要明确Filebeat采集K8S集群日志的方式。方式1：Node级日志代理在每个节点（即宿主机）上可以独立运行一个Node级日志代理，通常的实现方式为DaemonSet。用户应用只需要将日志写到标准输出，Docker 的日志驱动会将每个容器的标准输出收集并写入到主机文件系统，这样Node级日志代理就可以将日志统一收集并上传。另外，可以使用K8S的logrotate或Docker 的log-opt 选项负责日志的轮转。Docker默认的日志驱动（LogDri

书接上文K8S 的 Volume[本地磁盘] ，这里我用上文创建的Provisioner来运行tidb数据库。我自己的k8s有helm和持久化存储，直接开干准备：1.、安装 helm 客户端（master 节点 我本机有了旧版本 这里没有更新，新旧版本后面命令有点不同）wget -c https://get.helm.sh/helm-v3.4.2-linux-amd64.tar.gztar -xf helm-v3.4.2-linux-amd64.tar.gzcd linux-amd64/.

K8S 有很多 Volume 类型,详细信息可以查看官网https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes;这里只介绍几种：emptyDir，local，hostPath，nfs，secret，configMapemptyDir初始化为空目录，只在 Pod 运行时存在，当 Pod 停止或死掉后，目录下的所有数据都会被删除（如果只是 Container 死掉数据不会被删除），可以被同一个 Pod 下的不同 Cont

在一千的文章kafka初探go和C#的实现里面我们用了sarama来消费kafka的消息，但是很遗憾它没有group的概念。没办法 我们只能用sarama-cluster来实现， 注意sarama版本不要太新否则有错误panic: non-positive interval for NewTicker 问题处理，建议大家可以修改go.mod文件如下：require ( github.com/Shopify/sarama v1.24.1 github.com/bsm/sarama-cluster v

docker 容器运行了一段 时间 突然启动不了，查看docker容器日志提示: no space left on device.检查Docker Root Dir,命令执行: docker info我这里是: Docker Root Dir: /var/lib/docker查看空间使用情况: df -h /var/lib/docker/注意结果中出现的"ubuntu–vg-ubuntu–lv",看到空间已经接近满了,下一步扩容:查看可分配空间: sudo vgdisplay#扩...

这里 jenkins 使用的存储为 NFS安装 nfs 工具yum install nfs-common nfs-utils -y showmount -e 192.168.52.174# 运行结果Export list for 192.168.52.174:/nfs/jenkins *创建 nfs-client-provisioner deploymentcat nfs-client-provisioner.yaml kind: DeploymentapiV...

系统环境：centos 7git:gitee.com 当然随便一个git服务端都行jenkins: lts版本，部署在服务器上，没有通过部署在k8s集群中harbor： offline版本，用来存储docker镜像Kubernetes 集群为了方便快捷，使用了kubeadm方式搭建，是三台，并且启用了IPVS，具体服务器用途说明如下： HOSTNAME IP地址 服务器用途 master.test.cn 192.168.184.31 k8s-mas...

书接上文jenkins自动化部署go【docker+jenkins+go+gitlab+harbor】1 ，现在我们来看看k8s那边是怎么更新的。关于k8s的安装大家 可以参考Ubuntu 18 Kubernetes集群的安装和部署 以及Helm的安装 和 Centos 使用kubeadm安装Kubernetes 1.15.3关于harbor 程序手动更新到k8s 参考 Windows docker k8s asp.net core...

首先说一下我的环境，首先准备一台ubuntu18.4虚拟机，安装docker， 然后用docker 安装gitlab[大家可以参考 Ubuntu Docker搭建GitLab以及常规配置使用] 和harbor【大家可以参考 Ubuntu18 安装搭建Harbor】，我尝试过通过docker来安装jenkins，jenkins容器里面在安装docker和harbor通信，但是后面还是遇到很多问题 不好解决， docker默认是无状态的 需要保存的数据都要挂在的虚拟机上， 比如jenkins里面下载的gola.

本文jenkins部署golang项目流程jenkins服务拉取github上的项目 构建golang项目并生成docker镜像[jenkins调用的是宿主机上的docker环境，如何调用的，后面会说明] 启动golang项目的docker镜像docker的安装这里就不说了docker安装jenkinsMakefilerun: docker run \ -u root \ -d \ -p 8088:8080 \ -p 50000:50000 \ -e TZ="Asia/S

一、摘要jenkins 连接低版本的k8s时，不需要验证。但是新版本的启用了https和角色管理二、安装kubernetes插件登录jenkins，点击Manage Jenkins -->Manage Plugins --> 可选插件在搜索框中，输入关键字kubernetes勾选Kubernetes，点击直接安装等待几分钟，提示安装完成。点击安装完成后重启Jenkins(空闲时)提示正在重启中重新登录jenkins，返回首页。点击Ma...

今天尝试重新搭建以下k8s环境。2.14.x版本感觉坑比较多最后又返回1.15.xx；安装kubectl指定版本：sudo apt-get install -y kubelet=1.15.2-00 kubeadm=1.15.2-00 kubectl=1.15.2-00 --allow-downgrades1. 安装Helm客户端方式一：公有云环境可以使用官方安装脚本一键安装，只需要执行如下一条命令：curl https://raw.githubusercontent.com/helm/h

在Ubuntu 18.04 LTS上配置IP地址的方法与旧方法有很大不同。与以前的版本不同，Ubuntu 18.04使用Netplan（一种新的命令行网络配置实用程序）来配置IP地址。Netplan的默认配置文件位于/etc/netplan/目录下，让我们用ls /etc/netplan/找出默认的配置文件root@ubuntu184:~# cd /etc/netplan/root@ubuntu184:/etc/netplan# ls00-installer-config.yamlroot@ub

在项目中经常遇到通过ip获取区域信息，geoip无疑是一个很好的选择https://dev.maxmind.com/geoip/， 大家在这里可以下载IP库 。还有在ip中经常遇到字符串和数字的转换GOip数字和字符的转换我们可以用github.com/thinkeridea/go-extend/exnet包，获取ip信息可以用github.com/oschwald/geoip2-golang，代码如下：package mainimport ( "fmt" "log" "net".

OpenTracing开放式分布式追踪规范，常见实现：jaeger和zipkindocker启动一个实例：docker run -p 5775:5775/udp -p 16686:16686 -p 6831:6831/udp -p 6832:6832/udp -p 5778:5778 -p 14268:14268 jaegertracing/all-in-one:latestgo来一个普通的go程序package mainimport ( "f.

前言本篇内容是es的最后一篇，主要讲解聚合技术，以及与其相关的算法和原理，最后结合实际应用，简单说明了一些常用的数据建模。一 聚合分析之 bucket(分组)&meteric(统计)这一节内容主要是介绍下 bucket(分组)的概念 以及 meteric(聚合统计)概念，其实我们做过开发写过sql的就很容易理解了。然后我们结合案例进行练习和体会不同的bucket，以及不同的meteric，强化我们对分组和聚合统计的理解和记忆。1.1 原理 bucket(分组)与metric(聚合

前言有了前面的理论知识和上机实操的经验，那么下面我们将使用程序开发es。当然本篇说白了就是前面知识的总结和回顾。一 ES不分词(exact value)搜索1.1 实战体验term filter各种不分词搜索term filter/query：对搜索文本不分词，它直接拿条件去倒排索引中匹配。例如：term ：“hello world” --> “hello world”，直接去倒排索引中匹配“hello world”。反过来如果对搜索文本分词的话。则“helle worl.

前言我们通过前面两篇文章的学习，基本解es，但还不足以应对我们平时的开发任务，因此我们还需要全面深入的学习es技术。本篇文章会讲述很多底层内核级原理，所以我们需要集中精力深入体会。一 ES 内核级原理及相关概念1.1 分词器原理&介绍它指把一段语句，拆分成单个的单词。同时对每个单词进行normalization （时态转换，单复数转换）处理，以提升recall召回率（搜索的时候，增加能够搜索到的结果的数量）。1.1.1 分词器的主要构成大部分的分词器都是有三块组成 预处理 、

前言上一篇讲述了ES的基本操作和基本概念，这篇会更加深入了解ES相关操作以及相关操作的背后原理。当然其内容主要是概念和基本原理为主，并且穿插一些实战操作来加深体会。了一 ES分布式架构我们主要了解分片&副本机制，集群发现机制 ，负载机制，容错机制，扩容机制等。1.1 shard&replica机制index包含多个shard 每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 增减节点时，shard会自动在nodes

前言本篇文章主要是简单介绍下ES是什么？以及他的使用场景，然后再简单了解下基本的概念以及基本的增删改查操作。最后结合一个小案例体会下ES的相关应用。所以本篇文章主要是入门了解ES。一 ES 定义官网原话：Elasticsearch is a real-time, distributed storage, search, and analytics engineElasticsearch 是一个实时的分布式存储、搜索、分析的引擎。（1）分布式的文档存储引擎（2）分布式的搜索引擎和分

前言本篇主要聊聊ES生产环境的一些规划，以及ES的集群搭建。一 环境规划1.1 磁盘的选型固态硬盘（SSD） 提供最佳“热”工作负载的性能。 普通磁盘（HDD） 成本低，用于“暖”和“冷”数据存储。注意：RAID0 可以提高性能。RAID 是可选的，因为 Elastic 默认为 N + 1 分片复制策略。为了追求硬件级别的高可用性，可以接受标准性能的 RAID 配置（例如 RA1/10/50 等）。不建议，副本机制已经保证了高可用1.2 内存规划1.2.1 JVM Heap

前言ElasticSearch,Kibana,Logstash等安装上一章讲完了,这一章讲讲ELasticSearch怎么使用两种方式,一种是直接写ElasticSearch查询语句,当然是在Kibana里面还有一种是用代码写,可以用Java,C#,PHP,Python等,我这里使用C#Kibana查询ElasticSearch#创建PUT /test/user/1{ "name":"许嵩", "age":34, "tags":["a","b","c"]}#查询inde

前言Logstash一般用来收集整理日志,但是也可以做数据的同步我希望我的数据库的数据全部存到ElasticSearch之后,我的数据库做的增删改查都可以增量的更新到ElasticSearch里面Logstash配置文件数据库驱动首先,下载JDBC,我使用的是SQLserver,所以直接搜索Microsoft SQL Server JDBC然后下载即可,我目前是放在了Logstash的bin文件目录下配置文件编写:看看就行,重点在多表同步配置还记得安装篇,我写的运行L

1、问题描述执行语句：GET /megacorp/employee/_search{ "query" : { "filtered" : { "filter" : { "range" : { "age" : { "gt" : 30 } <1> } }, "query" : {

首先我的docker上已经有es和mongdb了，那么我的graylog希望用已有的es和mongo。docker pull graylog/graylog:3.3docker run \--link mongodb:mongo \--link es:elasticsearch \--name graylog \-p 9000:9000 \-p 12201:12201 -p 12201:12201/udp \-p 1514:1514 -p 1514:1514/udp -p 5044:5

上文docker安装nacos我们已经安装了nacos,现在我们来看看如何读取配置文件。我们的nacos的示例采用和go读取consul配置文件一致：go我这里采用https://github.com/nacos-group/nacos-sdk-go客户端， 直接上上代码：package mainimport ( "fmt" "log" "strings" "time" "github.com/nacos-group/nacos-sdk-go/clients" "gi...

网上安装的说明很多，比较好一点是https://www.cnblogs.com/binz/p/12295346.html 和https://blog.csdn.net/u011374856/article/details/109204466， 我一般希望把配置和日志文件放到ubuntu物理机上，首先说说我的逻辑，1直接运行docker， 2.把docker里面的配置拷贝到ubuntu上,3重新云心新的实例首先还是准备数据库部分，sql地址：https://github.com/alibaba/naco.

书接上文go任务调器我们来看看asp.netcore5.0里面怎么使用， 非常高兴有大佬们的贡献https://github.com/NanoFabricFX/DotXxlJob， 我的xxl-job是2.2.0，按照githab上我们需要安装DotXxlJob.Core然后准备代码如下：using DotXxlJob.Core;using DotXxlJob.Core.Model;using Microsoft.AspNetCore.Builder;using Microsoft.AspNe.

常见的go调度器有GitHub - ouqiang/gocron: 定时任务管理系统和GitHub - xuxueli/xxl-job: A distributed task scheduling framework.（分布式任务调度平台XXL-JOB）gocron结构如下：xxxl-jon:go的 是实现：package main import ( "fmt" xxl "github.com/xxl-job/xxl-job-executor-go" "github...

一、Google Authenticator 基本概念 Google Authenticator是谷歌推出的一款动态口令工具，旨在解决大家Google账户遭到恶意攻击的问题，在手机端生成动态口令后，在Google相关的服务登陆中除了用正常用户名和密码外，需要输入一次动态口令才能验证成功，此举是为了保护用户的信息安全。 谷歌验证（Google Authenticator）通过两个验证步骤，在登录时为用户的谷歌帐号提供一层额外的安全保护。使用谷歌验证可以直接在用户的设备上生成动态密...

Kafka概述Apache Kafka由Scala和Java编写，基于生产者和消费者模型作为开源的分布式发布订阅消息系统。它提供了类似于JMS的特性，但设计上又有很大区别，它不是JMS规范的实现，如Kafka允许多个消费者主动拉取数据，而在JMS中只有点对点模式消费者才会主动拉取数据。Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接收者称为consumer。Kafka集群由多个Kafka实例组成，每个实例称为broker。并且Kafka集群基于zookeeper保

在之前的文章「简单了解InnoDB底层原理」聊了一下MySQL的Buffer Pool。这里再简单提一嘴，Buffer Pool是MySQL内存结构中十分核心的一个组成，你可以先把它想象成一个黑盒子。黑盒下的更新数据流程当我们查询数据的时候，会先去Buffer Pool中查询。如果Buffer Pool中不存在，存储引擎会先将数据从磁盘加载到Buffer Pool中，然后将数据返回给客户端；同理，当我们更新某个数据的时候，如果这个数据不存在于Buffer Pool，同样会先数据加载进来，然后修改修改

学习一个技术，通常只接触了零散的技术点，没有在脑海里建立一个完整的知识框架和架构体系，没有系统观。这样会很吃力，而且会出现一看好像自己会，过后就忘记，一脸懵逼。跟着「码哥字节」一起吃透 Redis，深层次的掌握 Redis 核心原理以及实战技巧。一起搭建一套完整的知识框架，学会全局观去整理整个知识体系。系统观其实是至关重要的，从某种程度上说，在解决问题时，拥有了系统观，就意味着你能有依据、有章法地定位和解决问题。Redis 全景图全景图可以围绕两个纬度展开，分别是：应用纬度：缓存使用、集

kafka是一个消息队列， 和activeMQ， RabbitMQ类似， 一般都只是用到消息定订阅和发布。环境环境我们还是依赖docker来完成-- 拉镜像docker pull wurstmeister/kafkadocker pull wurstmeister/zookeeperdocker pull zookeeperdocker pull kafka--启动zookeeperdocker run -d --name zookeeper -p 2181:2181 -t w

Consul关于consul的环境搭建很简单，可以用docker临时搭建以下， consul关于KV存储的api也很简单，注意/v1/kv/是默认的公共路径-- 运行dockerdocker pull consul:latestdocker run --name consul -d -p 8500:8500 consul--create /v1/kv/是公共路径curl --request PUT --data '{"host":"localhost"}' http://127.

雪花算法能满足高并发分布式系统环境下ID不重复，并且基于时间戳生成的id具有时序性和唯一性，结构如下：由图我们可以看出来，snowFlake ID结构是一个64bit的int型数据。第1位bit：在二进制中最高位为1，表示的是负数，因为我们使用的id应该都是整数，所以这里最高位应该是0。41bit时间戳：41位可以表示2^41-1个数字，如果只用来表示正整数，可以表示的数值范围是：0 - (2^41 -1)，这里减去1的原因就是因为数值范围是从0开始计算的，而不是从1开始的。这里的单位是毫秒，

在上文我们的 go学习笔记:使用 consul 做服务发现和配置共享这里我们单独来用viper实现读取consul的配置， 我习惯与用yaml格式， 所以 首先 新建yaml文件store: book: - author: john price: 10 - author: ken price: 12 bicycle: color: red price: 19.95可以直接调用viper.AddRemoteProvider读取远程.

zap是uber开源的Go高性能日志库，gitlab地址安装go get -u go.uber.org/zap请注意，zap仅支持两个最新的Go版本。示例简单示例格式化输出package mainimport ( "go.uber.org/zap" "time")func main() { // zap.NewDevelopment 格式化输出 logger, _ := zap.NewDevelopment() defer

本文总结了我平时在项目中遇到的那些关于go语言JSON数据与结构体之间相互转换的问题及解决办法。基本的序列化首先我们来看一下Go语言中json.Marshal()（系列化）与json.Unmarshal（反序列化）的基本用法。type Person struct { Name string Age int64 Weight float64}func main() { p1 := Person{ Name: "七米", Age: 18, Weight

1. cron1.1.1. cron 表达式的基本格式用过 linux 的应该对 cron 有所了解。linux 中可以通过 crontab -e 来配置定时任务。不过，linux 中的 cron 只能精确到分钟。而我们这里要讨论的 Go 实现的 cron 可以精确到秒，除了这点比较大的区别外，cron 表达式的基本语法是类似的。（如果使用过 Java 中的 Quartz，对 cron 表达式应该比较了解，而且它和这里我们将要讨论的 Go 版 cron 很像，也都精确到秒） cron(计划任务)，顾

使用consul，其主要有四大特性：1. 服务发现：利用服务注册，服务发现功能来实现服务治理。2. 健康检查：利用consul注册的检查检查函数或脚本来判断服务是否健康，若服务不存在则从注册中心移除该服务，减少故障服务请求。3. k/v数据存储：存储kv数据，可以作为服务配置中心来使用。4. 多数据中心：可以建立多个consul集群通过inter网络进行互联，进一步保证数据可用性。通过docker安装consuldocker pull consul:latest//运行单机do

关于gorm的使用，官网非常详细推荐大家有时间仔细看https://gorm.io/zh_CN/docs/conventions.html， 我这里只是演示日常的使用增删改查：创建数据：新建一个gormdemo的数据库，然后执行下面的sql语句，就会建立一个animals的表，里面还有一些测试数据CREATE TABLE `animals` ( `id` BIGINT(20) NOT NULL AUTO_INCREMENT, `name` VARCHAR(255) DEFAULT '.

什么是Viper？Viper是Go应用程序的完整配置解决方案，包括12-Factor应用程序。它旨在在应用程序中工作，并可以处理所有类型的配置需求和格式。它支持：设置默认值 从JSON，TOML，YAML，HCL和Java属性配置文件中读取 实时观看和重新读取配置文件（可选） 从环境变量中读取 从远程配置系统（etcd或Consul）读取，并观察变化 从命令行标志读取 从缓冲区读取 设置显式值Viper可以被认为是所有应用程序配置需求的注册表。为何选择Viper？构建现代应用

cobra 是 go 语言的一个库，可以用于编写命令行工具。通常我们可以看到git pull、docker container start、apt install等等这样命令，都可以很容易用corba来实现，另外，go 语言是很容易编译成一个二进制文件，本文将实现一个简单的命令行工具。主要功能cobra 的主要功能如下，可以说每一项都很实用：简易的子命令行模式，如 app server， app fetch 等等 完全兼容 posix 命令行模式 嵌套子命令 subcommand 支...

在asp.ner core 5.0 Grpc HttpApi 和jwt的集成 和跨域【https双向认证】和Go Grpc Jwt身份认证和Gateway集成以及HTTPS双向认证我们 获取用户名都是通过方法的，在这里我们来用拦截器实现一下。GO大类可分为两种 RPC 方法，与拦截器的对应关系是：普通方法：一元拦截器（grpc.UnaryInterceptor）；流方法：流拦截器（grpc.StreamInterceptor）。1.拦截器的实现 我们来看看他的实现。在\gogrpcj...

书接上文Go Grpc Jwt身份认证和Gateway集成以及HTTPS双向认证， 那么它在asp.net core 里面怎么实现了， 前面asp.ner core 5.0 Grpc双向认证 和 restful api包装 外加swagger启用【VSCode创建】已经完成了大部分， 我们只要引入jwt 和跨域就了， 网上很多文章 都是用IdentityServer4【个人实际生产中没有使用过， 感觉比较中】。本文保持和go一至的风格，增加一个login方法1.修改grpcserver\Protos\.

gRPC主要有4种请求和响应模式，分别是简单模式(Simple RPC)、服务端流式（Server-side streaming RPC）、客户端流式（Client-side streaming RPC）、和双向流式（Bidirectional streaming RPC）。1.简单模式(Simple RPC)：客户端发起请求并等待服务端响应。2.服务端流式（Server-side streaming RPC）：客户端发送请求到服务器，拿到一个流去读取返回的消息序列。 客户端读取返回的流，直到里面没

书接上文Go Grpc Jwt身份认证，本文我们尝试把gateway也加进来，有关gatewa大家可以参考go学习笔记 grpc-gateway和swagger。直接开干吧1.修改api/api.proto文件syntax = "proto3";package api;// 1 导入 gateway 相关的proto 以及 swagger 相关的 protoimport "google/api/annotations.proto";import "protoc-gen-swagg...

在 http 请求当中我们可以设置 header 用来传递数据，grpc 底层采用 http2 协议也是支持传递数据的，采用的是 metadata。 Metadata 对于 gRPC 本身来说透明， 它使得 client 和 server 能为对方提供本次调用的信息。就像一次 http 请求的 RequestHeader 和 ResponseHeader，http header 的生命周期是一次 http 请求， Metadata 的生命周期则是一次 RPC 调用。在 go 语言中，可以用grpc.Wit.

关于grpc 我以前的文章.Net Core3.0使用gRPC 和IdentityServer4已经很向详细了， 关于http的双向认证 也已经有了， 大家可以参考asp.net 5.0 https的双向认证(windows和ubuntu)，今天主要试一下 在vccode 里面怎么完成全部的操作，证书还是用asp.net 5.0 https的双向认证(windows和ubuntu)里面的， 结尾我会贴下来创建代码Grpc Server1.创建grpc server创建结果如图：...

前几天搞go 的Grpc和http2的双向认证。现在来搞搞。net core 里面是如何实现的首先需要下载 OpenSSLhttp://slproweb.com/products/Win32OpenSSL.html一、创建根证书//生成key文件，输入密码：openssl genrsa -des3 -out root.key//生成请求证书文件，如果安装路径发生改变，可以通过在下面命令后面添加-config openssl.cfg来指明配置文件路径openssl req -new..

windows下部署在windows下和linux 下是一样的，windows 用bee pack -beGOOS=window 而linux 用 bee pack -beGOOS=linux -be GOARCH=amd64 ，通过bee创建的项目 默认是开发模式， 所以部署前需要修改 为runmode=prod， 这里我增加一个 配置website="demo" ，在default.go controller里面使用c.Data["Website"]=beego.AppConfig.St...

有关GPRC 的创建 大家 请参考go学习笔记 Windows Go 1.15 以上版本的 GRPC 通信【自签CA和双向认证】，本文同样会用上文创建的证书。【注意我的环境是win7+go1.15.6】1：将REST注释添加到API定义，我们必须安装grpc-gateway和swagger文档生成器插件go get -u github.com/grpc-ecosystem/grpc-gateway/protoc-gen-grpc-gatewaygo get -u github.com/grpc.

Windows 上安装OpenSSL1、安装ActivePerl软件下载perlhttps://www.activestate.com/products/perl/downloads/ 或者https://pan.baidu.com/s/107UTzX-9_vgFPTW93Ec3AA安装ActivePerl软件根据提示一步一步进行安装即可，安装过程软件会自动设置环境变量。要确认是否安装成功，我们可以利用cmd命令行的形式输入指令进入到安装目录，比如安装在D:\Perl64\下，进入到D:\...

简单说一下我的环境 win7+go1.15.6，GO1.15 X509 不能用了，证书需要用到SAN证书，下面就介绍一下SAN证书生成。首先需要下载 OpenSSLhttp://slproweb.com/products/Win32OpenSSL.html第1步：生成 CA 根证书????openssl genrsa -out ca.key 2048Generating RSA private key, 2048 bit long modulus (2 primes)......

Map 类型先看例子 m1:func main() { m := make(map[int]int) mdMap(m) fmt.Println(m)}func mdMap(m map[int]int) { m[1] = 100 m[2] = 200}结果是map[2:200 1:100]我们再修改如下 m2：func main() { var m map[int]int mdMap(m) fmt.Println(m)}func mdMap(m

软件开发过程中，项目上线并不是终点。上线后，还要对程序的取样分析运行情况，并重构现有的功能，让程序执行更高效更稳写。 golang的工具包内自带pprof功能，使找出程序中占内存和CPU较多的部分功能方便了不少。加上uber的火焰图，可视化显示，让我们在分析程序时更简单明了。pprof有两个包用来分析程序一个是net/http/pprof另一个是runtime/pprof，net/http/pprof只是对runtime/pprof包进行封装并用http暴露出来，如下图源码所示： 使用net/..

要说能够运行C#脚本的解决方案，有Roslyn和Mono，与他们相比，CS-Script能够提供的封装更为高级，它底层是通过Roslyn之类的引擎运行的，在此基础上，提供了一些额外功能：执行完整的C#文件 通过外部进程执行C#文件 在运行过程中链接多个c#文件，并集成运行 提供简便的方法进行链接 脚本调试功能注：由于技术发展，很多功能可能已经被Roslyn支持了。同时基于web有Try.NET和SharpLab等优秀方案。当然也可以自己基于Roslyn去实现这些功能，不过CS-Scri

go中的copy，一般习惯来讲都是值拷贝，但是这种拷贝存在的问题是锁对象的“失效”,Go中没有原生的禁止拷贝的方式，所以如果有的结构体，你希望使用者无法拷贝，只能指针传递保证全局唯一的话，可以这么干，定义 一个结构体叫noCopy，要实现sync.Locker这个接口[我也是看锁的源码 里面多次用到]// noCopy may be embedded into structs which must not be copied// after the first use.//// See...

go的调度器实现在runtime包中，路径为：./src/runtime/proc.go文件中。我们都知道go的强大是因为可以起很多 goroutine 也即是我们所说的协程。那么协程和线程有什么联系呢？协程又是如何调度的呢？go语言其实是在操作系统提供的内核线程之上搭建了一个特有得【两级线程】模型。下面再说两级线程模型前，有三个必知的核心元素。(G、M、P)G：Goroutine的缩写，一个G代表了对一段需要被执行的Go语言代码的封装M：Machine的缩写，一个M代表了一个内核线程P：...

Cond需要指定一个Locker，通常是一个*Mutex或*RWMutex。func (c *Cond) Broadcast() 和 func (c *Cond) Signal() 唤醒因wait condition而挂起goroutine，区别是Signal只唤醒一个，而Broadcast唤醒所有。允许调用者获取基础锁Locker之后再调用唤醒，但非必需。func (c *Cond) Wait()方法在调用时会释放底层锁Locker，并且将当前goroutine挂起，直到另一个goroutine执

sync.Once.Do(f func())是一个挺有趣的东西,能保证once只执行一次，无论你是否更换once.Do(xx)这里的方法,这个sync.Once块只会执行一次。package syncimport ( "sync/atomic")// Once is an object that will perform exactly one action.type Once struct { // done indicates whether the action has been

RWMutex是一个读写锁，该锁可以加多个读锁或者一个写锁，其经常用于读次数远远多于写次数的场景．func (rw *RWMutex) Lock()　写锁，如果在添加写锁之前已经有其他的读锁和写锁，则lock就会阻塞直到该锁可用，为确保该锁最终可用，已阻塞的 Lock 调用会从获得的锁中排除新的读取器，即写锁权限高于读锁，有写锁时优先进行写锁定func (rw *RWMutex) Unlock()　写锁解锁，如果没有进行写锁定，则就会引起一个运行时错误．func (rw *RWMutex) RLock

Mutex 是一个互斥锁，可以创建为其他结构体的字段；零值为解锁状态。Mutex 类型的锁和线程无关，可以由不同的线程加锁和解锁。在一个goroutine获得 Mutex 后，其他goroutine只能等到这个goroutine释放该Mutex使用Lock() 加锁后，不能再继续对其加锁，直到利用 Unlock() 解锁后才能再加锁在 Lock() 之前使用 Unlock() 会导致 panic 异常已经锁定的 Mutex 并不与特定的 goroutine 相关联，这样可以利用一个 goroutin

Pool介绍#总所周知Go 是一个自动垃圾回收的编程语言，采用三色并发标记算法标记对象并回收。如果你想使用 Go 开发一个高性能的应用程序的话，就必须考虑垃圾回收给性能带来的影响。因为Go 在垃圾回收的时候会有一个STW（stop-the-world，程序暂停）的时间，并且如果对象太多，做标记也需要时间。所以如果采用对象池来创建对象，增加对象的重复利用率，使用的时候就不必在堆上重新创建对象可以节省开销。在Go中，sync.Pool提供了对象池的功能。它对外提供了三个方法：New、Get 和 Put。下面

Reids安装导入go get github.com/garyburd/redigo/redisimport "github.com/garyburd/redigo/redis"github：https://github.com/antirez/redisDoc：http://godoc.org/github.com/garyburd/redigo/redisRedis全套使用：http://www.cnblogs.com/suoning/p/5807247.html使用连

事务的实现redo log保证事务的持久性，undo log用来帮助事务回滚及MVCC的功能。InnoDB存储引擎体系结构redo logWrite Ahead Log策略事务提交时，先写重做日志再修改页；当由于发生宕机而导致数据丢失时，就可以通过重做日志来完成数据的恢复。InnoDB首先将重做日志信息先放到重做日志缓存 按一定频率刷新到重做日志文件重做日志文件： 在默认情况，InnoDB存储引擎的数据目录下会有两个名为ib_logfile1和ib_logfile2的文

关于AES cbc的加密 在go AES 加密 和解密已经调到了， 这次主要涉及的内同时cbc 和ecb，刚好网上也有相应的说明， 我就一起整理一下DES是以64比特的明文为一个单位来进行加密，并生成64比特的密文。由于它每次只能处理特定长度的一块数据，所以DES属于分组密码算法。cypto/des包提供了有关des加密的功能。模式由于分组密码算法只能加密固定长度的分组，所以当加密的明文超过分组密码的长度时，就需要对分组密码算法进行迭代，而迭代的方法就称为分组密码的模式。模式主要有ECB(电子密

其实网上正确地使用Redis的SETNX实现锁机制和高并发1-Redis分布式锁setnx,setex连用说的都对，只是现在的redis做了很多优化比如现在的Set 指令如下set key value [EX seconds] [PX milliseconds] [NX|XX]EX seconds：设置失效时长，单位秒PX milliseconds：设置失效时长，单位毫秒NX：key不存在时设置value，成功返回OK，失败返回(nil)XX：key存在时设置value，成功返回OK，失...

虽然个人也不怎么推荐activeMQ， 只是由于项目需要， 所以也做一个简单的整理， 在订阅的时候 ，一般我们的业务都是处理字符串，但有时候AckMode 设置为AckAuto不可以，客服端处理完业务后在发回确认，所以订阅封装了2个方法utils.go如下：//Usage://// //Send// if err := utils.NewActiveMQ("localhost:61613").Send("/queue/test-1", "test from 1"); err != nil {

golang中defer,panic,recover是很常用的三个特性，三者一起使用可以充当其他语言中try…catch…的角色，而defer本身又像其他语言的析构函数deferdefer后边会接一个函数，但该函数不会立刻被执行，而是等到包含它的程序返回时(包含它的函数执行了return语句、运行到函数结尾自动返回、对应的goroutine panic）defer函数才会被执行。通常用于资源释放、打印日志、异常捕获等func main() { f, err := os.Open(fil

今天来尝试一下dotnetcore5.0 的session redis的用法， 顺便看看你是否有阻塞，在我以前的文章你的项目真的需要Session吗？redis保存session性能怎么样？和asp.net mvc Session RedisSessionStateProvider锁的实现有提到asp.net mvc session 锁的问题【默认内存保存是不存在】，前几天 发现beego session redis 是没有锁的 ，大家可以参考beego Session redis存储以及是否阻塞 ...

在文章beego Session redis存储以及是否阻塞我们说到session 是无阻塞的，session的接口对用户来说是一个字典（C# diction， Go是map）， 存储所有的ssion也是一个字典（类似于C#Dictionary<string【sessionid 用于区分用户】,Dictionary<string【用户设置的key】,object>>）首先我们来看看redis session （ledis_session.go）的源码吧，和C#相同， 有一个...

在任何语言中字符串操作都是非常频繁的，那么go中主要用strings和strconv， 他们的主要api有哪些了stringsstrings.HasPrefix(s string, prefix string) bool：判断字符串s是否以prefix开头 。strings.HasSuffix(s string, suffix string) bool：判断字符串s是否以suffix结尾。strings.Index(s string, str string) int：判断str在s中首次出现的

这篇我接着实践zip，tar和xlsx文件的读写操作。简单介绍一下 tar吧：tar 是一种打包格式，但不对文件进行压缩，所以打包后的文档一般远远大于 zip 和 tar.gz，因为不需要压缩的原因，所以打包的速度是非常快的，打包时 CPU 占用率也很低。tar 的目的在于方便文件的管理，比如在我们的生活中，有很多小物品分散在房间的各个角落，为了方便整洁可以将这些零散的物品整理进一个箱子中，而 tar 的功能就类似这样。创建 tar 归档文件与创建 .zip 归档文件非常类似，主要不同点在于我们将所

go常用操作文件有json，xml， gob 和txt，一般json，xml， gob 都是全部操作 很少修改一个部分快的内容， 所以一般采用 编码、解码实现，txt可能有追加所以相对难一点。 说说自己遇到的坑1.验证文件或者目录是否存在// 检查文件或目录是否存在// 如果由 filename 指定的文件或目录存在则返回 true，否则返回 falsefunc IsExist(filename string) bool { _, err := os.Stat(filename) retu

nject 是依赖注入的Go语言实现，它能在运行时注入参数，调用方法，是 Martini 框架（Go语言中著名的 Web 框架）的基础核心。demo1：package mainimport ( "fmt" "github.com/codegangsta/inject")type S1 interface{}type S2 interface{}func Format(name string, company S1, level S2, age int) { fmt.Prin

我们项目中反射一般是在特定场合获取对象的信息， 然后动态调用对象方法 或者修改对象的属性，但是go里面还有指针【地址】一说法， 来看看是怎么用的package mainimport ( "fmt" "reflect")func main() { var x float64 = 3.4 p := reflect.ValueOf(&x) // Note: take the address of x. /*为了得到 p 指向的数据，可以调用 Value 类型的 Elem 方法。

首先说结论吧，个人感觉go的goroutine和C# 的Task 相似，goroutine 和Task 可以近似理解为逻辑线程， 至于多个goroutine 或Task 对应操作系统几个物理线程 是底层决定的，我们可以不用太关心；但是一定是多对多【这个我们可以简单理解多对一， 一个或多个goroutine 或Task 对应底层一个物理线程】， 具体的blockingcollection可以参考https://blog.csdn.net/ma_jiang/article/details/54561684，..

一、GO语言安装详情查看：GO语言下载、安装、配置二、GoLang插件介绍对于Visual Studio Code开发工具，有一款优秀的GoLang插件，它的主页为：https://github.com/microsoft/vscode-go这款插件的特性包括：Colorization 代码着彩色 Completion Lists 代码自动完成（使用gocode） Snippets 代码片段 Quick Info 快速提示信息（使用godef） Goto Definition .

作者：依乐祝原文地址：https://www.cnblogs.com/yilezhu/p/9926078.html在本文中，我将带着大家一步一步的通过图文的形式来演示如何在Visual Studio Code中进行.NET Core程序的开发，测试以及调试。尽管Visual Studio Code的部分功能还达不到Visual Studio的水平，但它实际上已经足够强大来满足我们的日常开发。而且其轻量化，插件化以及跨平台的特性则是VS所不具备的。而且Visual Studio Code还可以通过社.

单例模式是最简单的设计模式之一，它提供了创建对象的最佳方式。这种模式涉及到一个单一的结构体，该结构体负责创建自己的对象，同时确保只有单个对象被创建。即多次创建一个结构体的对象，得到的对象的存储地址永远与第一次创建对象的存储地址相同。1初始化模式【类似C#的静态够着函数 】在程序加载阶段init()创建对象实例，虽然保证线程安全，但是会减慢程序启动速度。如果对象实例不被调用，则会浪费一段内存空间。type SingletonA struct {}var instanceA *SingletonA.