Kafka实战笔记
关于这份笔记，为了不影响大家的阅读体验，我只能在文章中展示部分的章节内容和核心截图
- Kafka入门
- 为什么选择Kafka
- Karka的安装、管理和配置
- Kafka的集群
- 第一个Kafka程序
afka的生产者
- Kafka的消费者
- 深入理解Kafka
- 可靠的数据传递
- Spring和Kalka的整合
- Sprinboot和Kafka的整合
- Kafka实战之削峰填谷
- 数据管道和流式处理(了解即可)
- Kafka实战之削峰填谷
curl -o install-grpc-gateway.sh \
https://raw.githubusercontent.com/zq2599/blog_demos/master/files/install-grpc-gateway.sh \
&& chmod a+x ./install-grpc-gateway.sh \
&& ./install-grpc-gateway.sh
- 进入$GOPATH/bin目录，可见新增两个文件protoc-gen-grpc-gateway和protoc-gen-swagger：
[golang@centos7 ~]$ cd $GOPATH/bin
[golang@centos7 bin]$ ls -al
总用量 26708
drwxrwxr-x. 2 golang golang 98 12月 19 08:59 .
drwxrwxr-x. 5 golang golang 39 12月 19 08:21 …
-rwxr-x—. 1 golang golang 5253272 12月 19 08:20 protoc
-rwxrwxr-x. 1 golang golang 8461147 12月 19 08:21 protoc-gen-go
-rwxrwxr-x. 1 golang golang 6717463 12月 19 08:59 protoc-gen-grpc-gateway
-rwxrwxr-x. 1 golang golang 6908535 12月 19 08:59 protoc-gen-swagger
- 现在环境准备好了，开始开发；
编写proto文件
- 在$GOPATH/src目录下，新建文件夹helloworld，里面新建文件helloworld.proto，内容如下，有几处要注意的地方稍后会说：
// 协议类型
syntax = “proto3”;
// 包名
package helloworld;
import “google/api/annotations.proto”;
// 定义的服务名
service Greeter {
// 具体的远程服务方法
rpc SayHello (HelloRequest) returns (HelloReply) {
option (google.api.http) = {
post: “/helloworld”
body: “*”
};
}
}
// SayHello方法的入参，只有一个字符串字段
message HelloRequest {
string name = 1;
}
// SayHello方法的返回值，只有一个字符串字段
message HelloReply {
string message = 1;
}
- 上述proto文件有以下几处要注意的地方：
-
整个文件其实就是以 《初试GO版gRPC开发》一文中的helloworld.proto为基础，增加了两处内容；
-
增加的第一处，是用import关键词导入google/api/annotations.proto；
-
增加的第二处，是SayHello方法的声明处，增加了option配置，作用是配置SayHello方法对外暴露的RESTful接口的信息；
-
在使用protoc-gen-grpc-gateway的时候，上述两处配置会被识别到并生成对应的代码；
根据proto文件生成gRPC、gRPC-Gateway源码
-
proto文件编写完成，接下来是生成gRPC、gRPC-Gateway的源码;
-
生成gRPC源码的命令咱们前面的文章中已经用过，如下：
protoc -I. \
-I$GOPATH/src \
-I$GOPATH/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \
–go_out=plugins=grpc:. \
helloworld.proto
-
执行完成后会在当前目录生成helloworld.pb.go文件；
-
执行生成gRPC-Gateway源码的命令：
protoc -I. \
-I$GOPATH/src \
-I$GOPATH/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \
–grpc-gateway_out=logtostderr=true:. \
helloworld.proto
-
执行完成后会在当前目录生成helloworld.pb.gw.go文件；
-
执行生成swagger文件的命令：
protoc -I. \
-I$GOPATH/src \
-I$GOPATH/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \
–swagger_out=logtostderr=true:. \
helloworld.proto
-
执行完成后会在当前目录生成helloworld.swagger.json文件；
-
至此，helloworld目录下一共有这些内容：
[golang@centos7 src]$ tree helloworld/
helloworld/
├── helloworld.pb.go
├── helloworld.pb.gw.go
├── helloworld.proto
└── helloworld.swagger.json
0 directories, 4 files
-
接下来开始编码，把运行整个服务所需的代码补全；
-
由于篇幅限制，本文暂不提及swagger相关的开发和验证，因此生成的helloworld.swagger.json文件本篇用不上，留待下一篇文章使用；
编写服务端代码server.go并启动
-
接下来编写服务端代码server.go，这个和《初试GO版gRPC开发》中的server.go内容一样；
-
在$GOPATH/src/helloworld目录下新建文件夹server，在此文件夹下新建server.go，内容如下，已经添加详细注释：
package main
import (
“context”
“log”
“net”
“google.golang.org/grpc”
pb “helloworld”
)
const (
port = “:50051”
)
// 定义结构体，在调用注册api的时候作为入参，
// 该结构体会带上SayHello方法，里面是业务代码
// 这样远程调用时就执行了业务代码了
type server struct {
// pb.go中自动生成的，是个空结构体
pb.UnimplementedGreeterServer
}
// 业务代码在此写，客户端远程调用SayHello时，
// 会执行这里的代码
func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {
// 打印请求参数
log.Printf(“Received: %v”, in.GetName())
// 实例化结构体HelloReply，作为返回值
return &pb.HelloReply{Message: "Hello " + in.GetName()}, nil
}
func main() {
// 要监听的协议和端口
lis, err := net.Listen(“tcp”, port)
if err != nil {
log.Fatalf(“failed to listen: %v”, err)
}
// 实例化gRPC server结构体
s := grpc.NewServer()
// 服务注册
pb.RegisterGreeterServer(s, &server{})
log.Println(“开始监听，等待远程调用…”)
if err := s.Serve(lis); err != nil {
log.Fatalf(“failed to serve: %v”, err)
}
}
- 在server.go所在目录执行go run server.go，控制台提示如下：
[golang@centos7 server]$ go run server.go
2020/12/13 08:20:32 开始监听，等待远程调用…
- 此时gRPC的服务端已启动，可以响应远程调用，接下来开发反向代理(Reverse Proxy)；
编写反向代理(Reverse Proxy)代码helloworld.gw.go并启动
-
接下来编反向代理(Reverse Proxy)代码helloworld.gw.go；
-
在$GOPATH/src/helloworld目录下新建文件夹gateway，在此文件夹下新建helloworld.gw.go，内容如下，有几处要注意的地方稍后会说明：
package main
import (
“flag”
“fmt”
“net/http”
gw “helloworld”
“github.com/grpc-ecosystem/grpc-gateway/runtime”
“golang.org/x/net/context”
“google.golang.org/grpc”
)
总结
面试难免让人焦虑不安。经历过的人都懂的。但是如果你提前预测面试官要问你的问题并想出得体的回答方式，就会容易很多。
此外，都说“面试造火箭，工作拧螺丝”，那对于准备面试的朋友，你只需懂一个字：刷！
给我刷刷刷刷，使劲儿刷刷刷刷刷！今天既是来谈面试的，那就必须得来整点面试真题，这不花了我整28天，做了份“Java一线大厂高岗面试题解析合集：JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法等”
且除了单纯的刷题，也得需准备一本【JAVA进阶核心知识手册】：JVM、JAVA集合、JAVA多线程并发、JAVA基础、Spring 原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、JAVA算法、数据结构、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、机器学习、云计算，用来查漏补缺最好不过。
[外链图片转存中…(img-qKgv7yn5-1714908176089)]
且除了单纯的刷题，也得需准备一本【JAVA进阶核心知识手册】：JVM、JAVA集合、JAVA多线程并发、JAVA基础、Spring 原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、JAVA算法、数据结构、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、机器学习、云计算，用来查漏补缺最好不过。
[外链图片转存中…(img-VKgnHnzN-1714908176089)]
扫一扫
1427
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
