2020年04月_肉装法师

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 springboot修改注解

封装成类方法，根据传入的值修改注解value；import com.multiple.demo.Service.UserServiceImpl;import java.lang.reflect.Field;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Method;import java.lang...

2020-04-29 13:36:54 1103

原创解决No nimbus leader participant host found, have you started your nimbus hosts?

问题描述移动集群镜像到另外一个环境，启动Storm。Ambari上查看Storm启动正常。查看StormUI 报错如下：No nimbus leader participant host found, have you started your nimbus hosts?解决方法检查确认DNS hostname 之类基础配置没有问题。删除zookeeper /storm目录重启sto...

2020-04-28 11:09:29 854

原创解决supervisor节点启动失败apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists

问题描述：Ambari UI 启动Storm过一会即Supervisors 挂掉一个查看对应节点的supervisor日志 /var/log/storm/supervisor.logtail -n 5000 supervisor.log | grep ERROR -A 10其中一个条错误2020-04-28 08:56:36.675 o.a.s.d.s.Supervisor ma...

2020-04-28 10:56:29 10554

原创 @SpringBootApplication(exclude={DataSourceAutoConfiguration.class})

@SpringBootApplication(exclude={DataSourceAutoConfiguration.class})禁止springboot自动注入数据源配置。为了后续利用注解动态传入的参数，对应连接相应数据库。为多数据源连接使用。...

2020-04-17 15:47:39 1811

原创 mysql MHA集群高可用部署方案

MHAmysql主从mycat 主备haproxy主备Keepalived主备

2020-04-17 10:15:16 586

原创 Flume获取多数据源数据传入kafka

实验条件：两个mysql 5.3 数据库在不同ip的机器上一个kafka 0.10.1集群（ambari集群，kafka端口默认6667,apache原生端口9092）一台flume 1.5.2按以下步骤：1. 上传两个包到flume/lib/目录(存放很多Jar包)下[jar包地址]（1）数据库连接jar包（2）flume-mysql插件2. 更改flume配置a1.sour...

2020-04-14 09:13:01 642

原创 Spark将数据插入mysql

//连接对象过多，可以把Class.forName、conn提出到外层中。此方法可以减少连接对象，但是可能会造成OOMimport org.apache.spark.{SparkConf, SparkContext}object MysqlInsert { def main(args: Array[String]) { val sparkConf = new SparkConf(...

2020-04-14 00:07:10 807

原创 Spark连接mysql数据库获取数据

添加jdbc依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version></dependency>import...

2020-04-13 23:47:31 304

原创 Java发送post请求并返回值

public static String sendPost(String message) { String response= ""; String url = ""; CloseableHttpClient httpClient = HttpClients.createDefault(); ResponseHandler&lt...

2020-04-09 10:42:26 1225

原创判断mybatis插入数据成功并返回该数据在mysql中的自增id

<insert id="insert" useGeneratedKeys="true" keyProperty="id" parameterType="com.siger.storm.model.CheckSnTrace"> insert into siger_check_sn_trace (ID, SN, ProductID,MaterialID, Section...

2020-04-02 15:34:34 1719