Java处理30w Qps的相关方法包括代码示例（今年比较突出的场景面试题）

1. 架构设计优化：采用微服务架构，确保各个服务可以独立扩展和维护。同时，通过分布式集群部署和多层次的负载均衡技术，比如OSPF协议、LVS以及Nginx，合理分配流量，防止单点过载。

2. 硬件和网络升级：使用高性能服务器，加强CPU和内存配置，以及建立低延迟和高带宽的网络连接，保证请求快速处理和数据传输。

3. 代码层面的优化：通过异步编程模型提高系统的并发处理能力，减少锁的使用，优化锁的粒度，采用无锁编程技术。

4. 缓存策略：利用本地缓存如Guava或Caffeine减少数据库访问，同时使用分布式缓存如Redis或Memcached存储热点数据，降低数据库的压力。

5. 数据库层面的优化：实施读写分离，使用内存计算NoSQL数据库提升查询效率，并通过分库分表提高数据处理能力。

6. 连接池管理：使用高效的数据库连接池和线程池，如HikariCP，减少连接建立的时间和提高并发处理的效率。

7. 监控和日志分析：使用Prometheus和Grafana等工具进行性能监控，及时发现并解决瓶颈问题。同时，利用集中式日志管理如ELK Stack分析请求和错误日志。

8. 水平扩展与自动扩展：运用Kubernetes等容器编排工具，根据系统负载动态调整服务实例的数量，实现自动扩展。

9. 流量削峰：通过消息队列等技术进行流量削峰，将同步调用转换为异步处理，平滑瞬时流量高峰。

10. 业务逻辑优化：在类似12306的订票系统中，采用预扣库存的方式，先进行库存扣除，再异步生成订单，这样可以快速响应用户请求同时保证不会超卖。

11. 高可用和容错机制：构建异地双活架构，提高系统的安全性和可靠性，同时在公有云上部署服务，分流流量，提高系统的整体处理能力。

1.异步处理示例

异步处理一般还涉及到如何选择线程池大小的问题

• 确定任务是CPU密集型还是IO密集型。CPU密集型任务应有较小的线程池，以避免过多的线程竞争CPU资源。IO密集型任务可以有较大的线程池，以充分利用等待IO操作时的空闲时间。
• 选择一个可以容纳高峰期任务请求的队列。如果任务可以等待，可以使用有界队列；如果任务不能等待，可以使用无界队列，但要注意潜在的内存溢出问题。
• 考虑使用自适应线程池，如Java中的ForkJoinPool或使用第三方库，它们可以根据当前的工作负载动态调整线程数量。
• 对于IO密集型任务，一个常见的经验公式是：线程池大小 = CPU核心数 * 任务并发数。这个公式可以作为起点，但需要根据实际情况调整

import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;

public class AsyncExample {
    public static void main(String[] args) {
        CompletableFuture.supplyAsync(() -> {
            // 模拟耗时任务
            return "任务结果";
        }).thenAccept(result -> {
            // 使用结果
            System.out.println("异步任务完成: " + result);
        }).exceptionally(ex -> {
            // 处理异常
            ex.printStackTrace();
            return null;
        });
    }
}

2. 使用缓存（以Redis为例）

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;

@Service
public class CacheService {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    public void saveCache(String key, Object value) {
        redisTemplate.opsForValue().set(key, value);
    }

    public Object getCache(String key) {
        return redisTemplate.opsForValue().get(key);
    }
}

3. 数据库连接池配置（使用HikariCP）

之所以用HikariCP而不用Apache DBCP Druid等，主要因为在性能上具有明显的优势。例如，HikariCP 的性能非常高，配置简单性高，可定制性中等，并且具有一定的监控和统计功能

而且非常的轻量级

import com.zaxxer.hikari.HikariConfig;
import com.zaxxer.hikari.HikariDataSource;

import javax.sql.DataSource;

public class HikariCPConfig {
    public static DataSource getDataSource() {
        HikariConfig config = new HikariConfig();
        config.setJdbcUrl("jdbc:mysql://localhost:3306/your_database");
        config.setUsername("username");
        config.setPassword("password");
        config.addDataSourceProperty("cachePrepStmts", "true");
        config.addDataSourceProperty("prepStmtCacheSize", "250");
        config.addDataSourceProperty("prepStmtCacheSqlLimit", "2048");

        return new HikariDataSource(config);
    }
}

4. 流量削峰（使用消息队列）

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class MessageQueueExample {
    public static void main(String[] args) throws IOException, TimeoutException {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        channel.queueDeclare("hello", false, false, false, null);
        channel.basicPublish("", "hello", null, "Hello World!".getBytes());
        System.out.println(" [x] Sent 'Hello World!'");

        channel.close();
        connection.close();
    }
}

5.Kubernetes

Kubernetes是一个强大的开源容器编排系统，用于自动化应用程序的部署、扩展和管理。它提供了多种功能来优化大规模集群的性能和资源利用效率。

1. 网络效率：Kubernetes 网络模型确保所有 Pod 都能获得独立的 IP 地址，无需 NAT，简化了网络配置并提高了效率。

2. 监控与日志分析：使用 Prometheus 和 Grafana 进行数据收集与可视化，Fluentd 和 Elasticsearch 配合 Kibana 实现日志聚合与分析，帮助及时发现并解决问题。

3. API Server 优化：调整 kube-apiserver 参数，如 --max-mutating-requests-inflight 和 --max-requests-inflight，使用 etcd 多实例支持和负载均衡，以及利用 pprof 进行性能分析。

4. Kubelet 优化：使用 node release 减少心跳上报频率，使用 bookmark 机制，限制驱逐，原地升级等措施，降低对节点性能的影响。

创建或修改kube-apiserver的配置文件（例如kube-apiserver-config.yaml），设置相关参数：

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
nodeRegistration:
  criSocket: "/var/run/dockershim.sock"
  name: "your-master-node-name"
localAPIEndpoint:
  advertiseAddress: "your-master-node-ip"
  bindPort: 6443

---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
apiServer:
  extraArgs:
    max-mutating-requests-inflight: "3000"
    max-requests-inflight: "1000"

启动pprof分析（需要在Kubernetes集群中找到合适的节点和Pod）：

kubectl port-forward svc/kube-apiserver -n kube-system 8001:8080

然后在本地使用go tool pprof访问:

go tool pprof http://localhost:8001/debug/pprof/profile

编辑kubelet的配置文件（例如通过daemon-set），设置--eviction-hard参数以限制Pod驱逐：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kubelet
spec:
  template:
    spec:
      containers:
      - name: kubelet
        args:
        - --eviction-hard=memory.available<100Mi

创建HPA资源以自动扩展Pod数量：

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: your-app-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: your-app-deployment
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50

使用Calico或Flannel等网络插件，并设置相应的网络策略，以优化网络性能。

配置Fluentd或类似工具，将日志发送到集中式日志管理系统，如ELK Stack。

# 这通常在Fluentd的配置文件中设置
<match **>
  @type forward
  <server>
    host your-elasticsearch-host
    port 24224
  </server>
</match>

部署Prometheus和Grafana，配置相应的监控仪表板和告警规则。

请注意，这些示例需要根据你的具体环境和需求进行调整。在实际应用中，可能还需要编写额外的脚本或程序来自动化这些配置的部署和调整。