- 博客(80)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用LinkedBlockingQueue解决并行环境下消息有序问题
1、定义多个LinkedBlockingQueue private List<LinkedBlockingQueue<KpiSendInfo>> createLinkedBlockingQueues() { List<LinkedBlockingQueue<KpiSendInfo>> kpiInfoQueueList = new ArrayList<>(); for (int index = 0; ind...
2020-11-10 17:52:39
1804
5
原创 临时解决kafka某分区offset不更新问题--重置group的offset
kafka0.10.1.0之后版本版本：1、查询到topic:FIMS offset的最小值./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list XXX.XXX.XXX.XXX:9092 --topic FIMS --time -22、offset的最大值：./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list XXX.XXX.XXX.XXX:9092 --to
2020-11-09 20:42:18
1783
原创 JVM参数
通过命令查看参数：java -XX:+PrintFlagsFinal –version | grep 参数关键字，来查看当前参数是否被使用查看线上运行的jvm的gc线程数： java -XX:+PrintFlagsFinal -version | grep ParallelGCThreadsexec java $JAVA_OPTS -server -Xmx16G ##程序运行期间最大可占用的内存大小 ...
2020-11-04 17:17:32
320
原创 jstack日志--跟踪java线程状态
jstack（java堆栈）生成的Thread Dump日志线程状态jstack命令的语法格式： jstack <pid>。可以用jps查看java进程id"KpiAlarmThread-2" #31 prio=5 os_prio=0 tid=0x00007fc101658000 nid=0x1b891 waiting on condition [0x00007fc0c5c5b000] java.lang.Thread.State: TIMED_WAITING (park...
2020-11-04 15:02:04
730
原创 log4j.properties
org.apache.log4j.ConsoleAppender（控制台） org.apache.log4j.FileAppender（文件） org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件） 月yyyy-MM、周yyyy-ww、天yyyy-MM-dd、半天yyyy-MM-dd-a、小时yyyy-MM-dd-HH、分钟yyyy-MM-dd-HH-mm 需重新实现DailyRollingFileAppender，用以支持maxBa..
2020-10-13 11:29:12
94
原创 Flink SQL 使用DDL创建Kafka表--数据源格式为指定分隔符的字符串
直接上代码CREATE TABLE table_kafka ( user_id BIGINT, item_id BIGINT, category_id BIGINT, behavior STRING, ts TIMESTAMP(3), proctime as PROCTIME(), WATERMARK FOR ts as ts - IN...
2020-03-11 20:03:25
1657
原创 Hive union all 性能测试
结论说明：待补充insert overwite table tablename partition (dt= ....) select ..... from ( select ... from A where ... union all select ... from B where ... union all select ... from C where ... ...
2019-10-09 16:24:39
221
原创 Hbase协处理器（Coprocessors）
将计算推送到 RegionServer，减少服务器和客户的的数据通信开销，提高 HBase 的计算性能协处理器框架主要分为两大类，即 Observer 和 EndpointObserver 和 RDMBS 的触发器很类似，在一些特定的事件发生时被执行。这些事件包括用户产生的事件，也包括服务器内部产生的事件。Endpoint 和 RDMBS 的存储过程很类似，用户提供一些自定义代码，并在 H...
2019-09-30 17:45:28
734
原创 hbase表大小
一、记录条数1、hbase shell中执行count的命令（效率太低）INTERVAL是统计的行数间隔，默认为1000；CACHE是客户端缓存条数hbase(main):001:0> count 'boco:DW_F_XDR_HTTP_FGCSVSH_USR_H', INTERVAL => 10000,CACHE => 10001405253428 row(s)...
2019-09-18 17:15:58
633
原创 MapReduce输出说明（hbase查看记录数）
[boco@hadoop01 ~]$ hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'boco:DW_F_XDR_HTTP_FGCSVSH_USR_H'19/09/17 18:00:57 INFO mapreduce.Job: Job job_1566288376023_2726039 completed successfully19...
2019-09-17 18:14:32
688
原创 权鉴过程
交易请求过程：1、平台请求第三方服务的鉴权接口，传递用户名、密码、时间戳、密钥有效时长等四个参数获取第三方接口的接口访问密钥（token）;2、平台将获取的接口访问密钥（token）放入请求第三方API的请求消息头header中。3、第三方服务验证token是否正确，token正确后返回对应API的响应数据；OAuth 2.0 规定了四种获得令牌的流程授权码（authori...
2019-09-16 18:12:31
532
原创 Hbase scanner.next() 查询未执行结束线程超时异常
ResultScanner scanner = htable.getScanner(scan);Result rs = scanner.next();String line = "";logger.info("DataScanner run rs:=" + rs);while (rs != null) { line = new String(rs.getValue(family, co...
2019-09-03 14:23:00
1078
2
原创 使用SingleColumnValueFilter实现Hbase列字段过滤
public static void QueryByCondition(String tableName, String v1) { try { Connection connection = ConnectionFactory.createConnection(conf); HTable htable = (HTable) ...
2019-08-14 09:10:21
1077
原创 KeeperErrorCode = ConnectionLoss for /hbase/hbaseid
[user@cloud18 hbase]$ hbase shell2019-08-06 14:38:12,826 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available2019-08-06 14:38:32,461 ERROR [...
2019-08-06 14:45:54
5095
原创 最燃HiveSQL
INSERT INTO OP_MME_IUCS_5G_IMEI_M (MONTH_ID, PROVINCE_I, REGION_ID, NET_TYPE, ...
2019-07-29 17:46:23
152
原创 两种加密的Java实现：MD5、AES
1、MD5加密 public static String EncoderByMd5(String str) throws NoSuchAlgorithmException, UnsupportedEncodingException { log.debug("start EncoderByMd5 str:=" + str); MessageDigest ...
2019-07-25 12:08:17
348
原创 Http请求的三种方法：Apache HttpClient、Netty HttpClient、Spring RestTemplate（忽略https安全证书）
三种Http请求的实现1、Apache --> http client2、Netty --> http client3、Spring --> RestTemplate（忽略https安全证书）一、Apache --》http clientimport org.apache.http.NameValuePair;import org.apache.h...
2019-07-24 18:18:44
5335
原创 使用Endpoint(端点)类发布webservice
1.在要发布服务的类上添加@WebService注解。将要发布服务的方法设置为public。2.调用EndPoint.publish(,)发布服务注意事项：1.给类添加上@WebService注解后，类中所有的非静态方法都将会对外公布。2.不支持静态方法，final方法。3.如果希望某个方法(非static,非final)不对外公开，可以在方法上添加@WebMethod(exclude...
2019-07-24 18:02:48
4422
转载 让innerHTML中的script脚本执行起来
在我们使用AJAX的时候，经常要用到innetHTML来更新对象的内容，但是对于更新的脚本程序浏览器却无法执行，我前面AJAX初学常遇问题解答这篇文章曾提到过这个问题，它不执行的原因是：标签只在浏览器第一次文档加载中被解析，下面介绍怎么样让跑起来。分析问题既然只在文档加载中才被解析，那么我就得调用document.write()方法来重新加载一次，但是这样的话原来页面的内容也会被覆盖掉了
2007-04-26 00:12:00
836
转载 面试英语经典问答
Q： Can you sell yourself in two minutes？ Go for it. （你能在两分钟內自我推荐吗？大胆试试吧！） A： With my qualifications and experience, I feel I am hardworking, responsible and diligent in any project I undertake. Your o
2006-09-04 12:19:00
877
转载 35岁前要做好的十件事情
35岁是青春的后期，35岁以后是收获的季节，如果你没有资格说这句话，你将会憎恨自己。所以在35岁以前，在烂漫蓬勃的青春年华里，你最好把下面十件事做好： 第一，学会本行业所需要的一切知识并有所发展。 已故零件大王布鲁丹在他35岁时，已经成为零件行业的领袖，并且组建了年收入达千万美元的海湾与西部工业公司。每个人在年轻时都可能有过彻夜不眠、刻苦攻读，这在20岁甚或30岁都没有问题，但到了35岁，就不应
2006-05-23 18:56:00
818
转载 XmlHttp技术资料
XmlHttp技术资料 作 者：不详 摘 自： 小雨在线 浏览次数：170 发布时间：2006-3-13 页面功能：【双击滚屏】【字体：小 大】【打印此文】【关闭窗口】
2006-03-28 13:53:00
728
转载 XmlHttp 试用手记
什么是XmlHttpXmlhttp 是一种浏览器对象，可用于模拟http 的GET 和POST 请求。配合JavaScript 可以实现页面数据在无刷新下的定时数据更新，如果应用在聊天室、文字直播上可以取得较好的视觉效果。IE 中的XmlHttp 对象在IE 中XmlHttp 被实现为ActiveX 对象，通常使用var xmlhttp = new ActiveXObject("Msxml2.XM
2006-03-28 12:32:00
906
原创 一个公司的面试题
1。请大概描述一下Vector和ArrayList的区别，Hashtable和HashMap的区别。(5)2。请问你在什么情况下会在你的JAVA代码中使用可序列化？(5) 为什么放到HttpSession中的对象必须要是可序列化的？(5)3。为什么在重写了equals()方法之后也必须重写hashCode()方法？(10)4。sleep()和wait()有什么区别？(10)5。编程题：用最有效
2006-02-11 22:16:00
963
原创 职业生涯规划参考
一 一条猎狗将兔子赶出了窝，一直追赶他，追了很久仍没有捉到。 牧羊看到此种情景，讥笑猎狗说"你们两个之间小的反而跑得快得多。" 猎狗回答说："你不知道我们两个的跑是完全不同的！我仅仅为了一顿饭而跑，他却是为了性命而跑呀！" ............................目标.... ............................ 二 这话被猎人听到了,猎人想:猎狗说的对啊,那我
2006-01-26 09:59:00
823
原创 小点子
机会来了，写一个电话订票程序来倒票（有谁对电话熟的，找合作伙伴）！让她每天24小时拨且自动完成订票，每天成功订票20张，每张挣50元，一天就1000快，春运40天，致少也可以挣3万快啦如果没有电信的那句the line is busy now，这个程序很容易。刚写了个程序，用dialogic d4/pci卡配合四条线弄了一张票。其实也没什么意思，很多车次8点半就没票了，要想想，8点开始
2006-01-16 12:20:00
808
原创 JAVA学习笔记
1、如何制作.jar 文件示例1：将两个class文件存档到一个名为 classes.jar 的存档文件中： jar cvf classes.jar Foo.class Bar.class示例2：用一个存在的清单（manifest）文件 mymanifest 将 foo/ 目录下的所有 文件存档到一个名为 classes.jar 的存档文件中：
2005-12-27 10:32:00
902
原创 用ant来管理enhydra项目
用ant来管理enhydra项目 级别: 初级宗锋, 硕士研究生, 西北大学计算机系2001 年 7 月 01 日本文描述了ant的基本语法及其如何应用于enhydra项目的管理Ant简介可能有许多读者并不了解什么是ant，以及如何使用它。但只要你是用过linux，你应该知道make为何物，当我们编译linux内核及一些软件的源程序时，我们经常需要在控制台下输入make。Make其实就是一个项
2005-12-22 15:07:00
863
原创 小议abstract class和interface
abstract class和interface在Java语言中都是用来进行抽象类定义的Interface ,给外界的接口,按照规定办事；Abstract ,内部继承关系；interface 就是一组操作的集合,它定义了一个行为集但不作任何具体的实现,这样的话,具体的操作 都可以放在实现类中去,体现设计与实现分离的设计思想。在面向对象的概念中，所有的对象都是通过类来描绘，如果一个类中没有包含足够
2005-12-19 11:01:00
717
原创 成为Eclipse热键使用
成为Eclipse热键高手使用Eclipse IDE的技巧作者：Sam Brodkin翻译：tetsu中文地址:http://www.matrix.org.cn/resource/article/43/43844_Eclipse_Hot_Key.html关键词： Eclipse Hot Key1. Control-Shift-T: 打开类型（Open type）。如果你不是有意磨洋工，还是忘记通过
2005-12-14 16:54:00
720
原创 用ultraEdit打造自己的java IDE
有许多初学者在问用什么开发工具，一般用jdk+notepad就ok了，但是有时比较麻烦 而用jbuilder等大型IDE又不利于学习，而且速度很慢，所以我就用utraEdit自己写了一个IDE 感觉很好用特告诉大家。 效果图如下： 注： 1、以下以ultraEdit9为例，其他版本和editPlus类似 2、假设你的java环境已经安装好，并且没有问题 一、配置命令菜单 1、打开 高级－>工具配置
2005-12-14 16:41:00
786
原创 Java语法规则
Java语法规则(by Huihoo.com Allen) //多态 定义：是指一个多态引用可以指向多个类的实列 java通过方法重写和方法重载来实现多态 //extends 通过在类的声明中加入extends子句来创建一个类的子类 子类可以继承父类中访问权限设定为public,protected,friendly的成员变量和方法，但是不能继承访问权限为private的成员变量和方法。 //fin
2005-12-14 10:44:00
788
原创 商业银行会计实务
第一章 会计基本核算 第二章 综合业务系统介绍 第三章 利息计算 第四章 对公存款 第五章 储蓄存款 第六章 外汇存款 第七章 贷款业务 第八章 外汇贷款 第九章 结算业务 第十章 银行卡业务 第十一章 业务资金往来 第十二章 国际结算业务 第十三章 贸易融资 第十四章 财务核算 第十五章 金库管理 第十六章 凭证管理
2005-12-07 18:51:00
2056
1
原创 java环境配置
1、安装jdk1.4.0，如：可安装在C:/jdk下。2、配置环境变量如果你的运行环境是win98，则在C盘根目录下，autoexec.bat文件中，加入下面两条语句：set Path=%PATH%;c:/jdk/binset CLASSPATH=.;c:/jdk/lib/dt.jar;c:/jdk/lib/tools.jar保存后，重新启动机器，就完成了jdk1.4的安装。如果你的运行环境是wi
2005-12-03 17:11:00
835
转载 Tomcat5.5.12 + mysql5.0 +Eclipse连接池配置(转贴)
近日学习jsp时，为连接池的问题所困，经过一番努力，终于成功了，特此为大家献上。1.Tomcat5.5.12中没有admin模块，需要读者自行下载2.Tomcat中配置如下 JNDI Name: jdbc/mysql Data Source URL: jdbc:mysql://202.118.133.88/xscj JDBC D
2005-12-03 15:59:00
1515
1
原创 eclipse学习笔记
1、tomcat没有内嵌到Eclipse中的解决办法 a、把你的config文件删掉，在重新启动eclipse自己会加载的; b、如果再不行仔细检查一上路径对不对,是不是拷错目录了,如果再找不到在 D:/eclipse/configuration/config.ini 最上面加上一句 osgi.ch
2005-11-27 21:23:00
1412
原创 个人对手机银行的理想
手机银行的用途手机银行并非新近才出现，早在1999年国内就已经诞生 客户只需手持手机，不必跑银行，也可以在任何地方遥控自己的银行账户。从理论上讲手机银行可以实现除提取现金业务之外的各种银行业务，建设银行通过对日常业务的调查分析发现，50%—60%的金融业务属于非现金业务.1、金融终端 ： 用户可以利用手机来针对自己的银行账户进行理财活动。它包括：账户管理、查询、转账、汇款、银证转账和外汇买卖
2005-11-23 22:17:00
1491
2
原创 我的收藏夹
Memo1我的收藏夹我的收藏夹BT">http://bt3.btchina.net/">BT @ China 联盟 - 发布总索引CSDN">http://www.csdn.net/member/UserLogin.aspx">CSDN 用户登录Flash">http://www.xuanxuan.com/games/game1279.html">Flash游戏报纸速递在线小游戏报纸速递迷你小游戏
2005-11-21 22:42:00
5535
原创 JBuilder快捷键.txt
1.工作区: (显隐) 项目面板：ctrl + Alt + p (Project) 设计面板: ctrl + Alt + c (content) 结构面板: ctrl + Alt + s (Structure) 信息面板: ctrl + Alt + M (Message) 状态面板: ctrl + Alt + Z 2.主面板:(代码面板和设计面板) 激活代码模块: ctrl
2005-11-18 14:06:00
484
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人