Mike9955-CSDN博客

转载 java反射调用dubbo接口

需求：项目增加幂等场景：1.三个项目：a 、b、c2.a项目加幂等3.b项目dubbo调用项目a的时候超时没有获取返回结果，增加重试机制（非立即重试，3min or 5min 后重试）4.c项目是一个异步的job项目，用来接收mq，异步处理，管理task等。方案：1.a项目设置请求流水id，将请求先存入redis缓存，处理完成之后更新redis中的状态，同一个流水id认为是重复提...

2018-09-21 11:21:00 1559

转载 java常用集合浅层解析-面试必备

ArrayList1.动态数组2.线程不安全3.存储空间连续4.查询快，添加删除慢构造方法/** + Shared empty array instance used for default sized empty instances. We + distinguish this from EMPTY_ELEMENTDATA to know how much to i...

2018-09-07 17:01:00 227

转载 zookeeper选举

什么时候开始进行选举1.服务器初始化启动的时候2.服务器运行期间连接不上leader的时候初始化选举过程进行leader选举至少需要两台服务器，我们这里举例为5台服务器（1,2,3,4,5）1.启动服务器1，第一次投票都先投给自己[1,0]。投票内容[myid,zxid],myid为服务器的唯一标识，zxid是事物请求的唯一标识，从0开始，选举出leader之后由leader...

2018-03-09 15:37:00 197

转载 springboot集成Actuator

Actuator监控端点，主要用来监控与管理。原生端点主要分为三大类：应用配置类、度量指标类、操作控制类。应用配置类：获取应用程序中加载的配置、环境变量、自动化配置报告等与SpringBoot应用密切相关的配置类信息。（可以理解为静态报告）度量指标类：获取应用程序运行过程中用于监控的度量指标。比如：内存信息、线程池信息、HTTP请求统计等。（动态报告）操作控制类：提供了对...

2017-12-29 08:34:00 287

转载第二个scala程序

计算昨日收益，读取hdfs文件，使用临时表sqlcontext进行计算，结果保存于mysql中。之前考虑过将结果存储于Hbase中，由于各种原因及问题，在加上数据量真的很小很小，就改成mysql了。package com.zhongxinimport java.text.SimpleDateFormatimport java.util.{Calendar, Pro...

2017-12-18 13:24:00 139

转载 sqoop将mysql连表查询结果导入hdfs文件

sqoop import --connect jdbc:mysql://ip/数据库 --username 用户名 --password 密码 --query "selectp.bidNo as bidNo,p.interestTime as interestTime,p.status as status,p.planStatus as planStatus,...

2017-12-15 08:46:00 209

转载两个map一个reduce（两个输入文件）

两个map，一个map读取一个hdfs文件，map完之后进入一个reduce进行逻辑处理。package com.zhongxin.mr;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs...

2017-12-15 08:39:00 450

转载 springboot集成swagger

对于搬砖的同学来说，写接口容易，写接口文档很烦，接口变动，维护接口文档就更更更烦，所以经常能发现文档与程序不匹配。等过一段时间就连开发者也蒙圈了Swagger2快速方便的解决了以上问题。一个能与Spring MVC程序配合组织出强大RESTful API文档的新宠儿。下面直接上代码pom.xml<?xml version="1.0" encoding="UT...

2017-12-08 12:13:00 174

转载 sqoop:mysql to hdfs

将mysql联合查询的结果导入到hdfs上sqoop import --connect jdbc:mysql://ip/数据库 --username root --password 密码 --query "select p.bidNo as bidNo,p.interestTime as interestTime,p.status as status,p.planStatus a...

2017-12-07 15:44:00 215

转载 mysql

select s.userId,t.interestTime,sum(case when t.interestType = 'A1' then ((s.totalOnInvestedShare*t.yield/100 + s.addshare*s.addyield/100)*t.cycle/365)else ((s.totalOnInvestedShare...

2017-12-07 15:34:00 133

转载 hive查询结果输出到hdfs上

insert overwrite directory "/mapredOutput/UserYesterdayInterest/${hiveconf:day}"row format delimited fields terminated by "\t" select s.userid,round(sum((s.totaloninvestedshare * i.yield/100 ...

2017-11-24 15:25:00 883

转载 sqoop： mysql to hive

sqoop import --connect 数据库连接 --username 数据库用户名--password 数据库密码 --table 导入的表 -m 1 --hive-import --target-dir 临时目录注：--target-dir 为临时目录，原因是因为sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后把这个目...

2017-11-24 13:52:00 138

转载第二个MapReduce

大家在学习Hadoop的MapReduce的时候，90%的第一个程序都是WordCount，所以在这里分享一下我的第二个MapReduce程序。对于学习编程语言的人来说，有时候代码是最好的沟通方式之一。 1 package com.zhongxin.mr; 2 3 import org.apache.hadoop.conf.Configuration; 4 impo...

2017-11-23 14:17:00 181

转载 Go环境搭建

Linux系统golang环境搭建1.下载安装包go1.8.linux-amd64.targolang安装包下载地址:https://golang.org/dl/ ( 有可能被翻墙)2.解压并编译tar -xvzf go1.3.3.linux-amd64.tar.gz -C /usr/local3.设置环境变量vim /etc/profile...

2017-11-21 08:58:00 117

转载重启mysql主从同步mongodb（tungsten-replicator）

1. 连接mysqlmysql -uroot -p;(mysql从库)输入数据库密码2. 停止主同步mysql> stop slave; 3. 清数据将mongo库数据清空4. 杀主同步进程ps -ef|grep java找到 /opt/continuent/releases/tungsten-replicator-2.2....

2017-11-21 08:47:00 403

转载 tungsten-replicator安装

需要环境ruby1.8.5 or laterJava1.6 or later应用程序对外开放接口3306 (MySQL database)2112 (Tungsten THL)10000 (Tungsten RMI)10001 (JMX management)首先配置主服务器（192.168.9.169）1.安装ruby和java环境yum -y instal...

2017-11-20 09:55:00 351