- 博客(37)
- 收藏
- 关注
RSS订阅转载 eclipse快捷键
1. 【ALT +/】 此快捷键为用户编辑的好帮手，能为用户提供内容的辅助，不要为记不全方法和属性名称犯愁，当记不全类、方法和属性的名字时，多体验一下【ALT +/】快捷键带来的好处吧。 2. 【Ct rl+O】 显示类中方法和属性的大纲，能快速定位类的方法和属性，在查找Bug时非常有用。 3. 【Ct rl+/】 快速添加注释，能为光标所在行或所选定行快速添加...
2018-11-19 10:48:54
161
原创 Mybatis version乐观锁实现并发控制
<insert id="insertNotExists" > insert into tf_app_call_count (id,api_key, api_secret, api_id, create_time, update_time, create_user, update_user, valid) SELECT #{id...
2018-04-02 17:08:10
5568
原创 shell 查询mysql 导出部分数据
$ mysql -u monitor -p 111111 -e "select * from monitor_field where create_time between '2018-01-09 00:00:00'and '2018-01-09 17:00:00' " > monitor.out Enter password:
2018-01-10 09:41:42
1205
原创 mysql 分组topN
比较快的实现：select a.* from his_tender_count a join (select trans_month,max(create_time)as create_time from his_tender_count group by trans_month) b on a.trans_month=b.trans_month and a.create_time=b.cre
2017-12-25 16:23:45
932
原创 Spring 扩展开发
BeanPostProcessorInstantiationAwareBeanPostProcessorhttp://uule.iteye.com/blog/2094549点击打开链接InitializingBeanhttps://www.cnblogs.com/sunxucool/archive/2013
2017-12-17 11:05:57
255
原创 JNI ：java 调用C++动态库
二：java调用so(C) java和c / c++通信都可以通过jni来实现。 在java代码中： System.loadLibrary("Hello"); Hello不能写成Hello.dll或者Hello.so，它会根据系统平台自动填充，需要注意的是在unix/linux下生成.so动态库文件的时候， 需要在Hello.so前添加lib，否则找不到.s
2017-12-14 17:55:24
329
原创 生成器模式 创建型模式
生成器模式：将复杂对象的表示和创建进行分离。 参考：https://www.cnblogs.com/JackyTecblog/archive/2012/09/20/2695429.html
2017-12-12 16:27:04
330
原创 hive hbase 映射表
1）创建表create 'hive_table','json'2） 插入了数据如下hbase(main):012:0> scan 'hive_htable'ROW COLUMN+CELL
2017-12-06 14:50:49
387
原创 hive 分组topN
Time taken: 0.008 seconds, Fetched: 44 row(s)hive> show create table jxl_report;OKCREATE TABLE `jxl_report`( `id` bigint COMMENT '主键', 。。。 `user_name` string COMMENT '用户名', `phone_n
2017-12-04 17:38:39
400
原创 java并发编程：主线程等待子线程结束 CountDownLatch
1) 主线程等待线程池ExecutorService pool = Executors.newFixedThreadPool(20);if(file.exists()&&file.isDirectory()){File[] listFiles = file.listFiles();for(File fileTmp:listFiles){pool.execute(new Ru
2017-11-27 13:21:07
391
原创 maven-assembly-plugin打Jar 出现异常
presto@yz-hadoopslave1 app]$ java -cp dataplatform-moxie-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.niwodai.data.parse.MoxieStart17/11/27 11:21:29 INFO support.ClassPathXmlApplicationContext: Re
2017-11-27 11:34:55
997
原创 java 日志监控收集：动态流量峰值进行采样率配置
package com.chun.monitor;import java.util.concurrent.ExecutorService;import java.util.concurrent.LinkedBlockingQueue;import java.util.concurrent.RejectedExecutionHandler;import java.util.c
2017-11-25 15:31:30
1332
原创 elasticsearch(5)hive 数据导入Elasticsearch
在Hive导入数据到Es中，需要注意，优先创建一个mappingindex=table_name为了加速导入数据的速度。1：创建Mapping, 优化需要的字段。2：设置副本为03：设置刷新时间为 -1function createIndex(){ es_nodes=$1 index=$2 active_node="
2017-11-14 14:36:23
1439
1
转载 apache pool 对象池
Apache Common-pool2对象池分析和应用Apache Common-pool2包提供了一个通用的对象池技术的实现。可以很方便的基于它来实现自己的对象池，比如DBCP和Jedis他们的内部对象池的实现就是依赖于Common-pool2。对象的创建和销毁在一定程度上会消耗系统的资源，虽然jvm的性能在近几年已经得到了很大的提高，对于多数对象来说，没有必要利用对象池
2017-11-12 17:28:29
313
原创 linux集群自动化免密部署服务
#!/bin/bashSERVERS="s1 s2"PASSWORD=123456 auto_login() { expect -c "set timeout -1; spawn ssh-copy-id $1; expect { *(yes/no)* {send -- yes\r;exp_conti
2017-11-12 16:39:51
277
转载 json-> jackson
@JsonProperty的使用jackson的maven依赖dependency> groupId>com.fasterxml.jackson.coregroupId> artifactId>jackson-databindartifactId> version>2.5.3version>dependency>所以引入这一个依赖就可以
2017-11-12 14:07:39
189
转载 ulimit 不生效解决
ulimit这样设置后/etc/security/limits.conflinux对用户有默认的ulimit限制，而这个文件可以配置用户的硬配置和软配置，硬配置是个上限。超出上限的修改就会出“不允许的操作”这样的错误。在limits.conf加上* soft noproc 10240* hard noproc
2017-11-02 15:11:08
7777
转载 hbase 数据迁移,表count
小表：countshell > count 'tablename'大表hbase row count:hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename'2)离线导出。导出hbase org.apache.hadoop.hbase.mapreduce.Export ID_CARD_IMG /
2017-10-30 13:46:19
324
原创 elasticsearch(4)安装hanlp中文分词插件
为了做基于分词和基于模板的智能客服系统，引入了hanlp 分词器，直接整： hanlp 分词是针对中文分词开发的分词库。elasticsearch集成hanlp 不能直接去下载hanlp，需要集成elasticsearch-hanlp插件。在github,中有很多 es-hanlp的插件,多数是坑。下载 https://github.com/hualongdata/hanlp-
2017-10-26 14:27:14
2988
原创 sqoop 导入导出数据倾斜问题优化
导入：PG => hive : sqoop import --connect jdbc:postgresql://host:5432/test --username test --password test --table jxl_main_service --hive-import --hive-table jxl_tmp.jxl_main_service --spl
2017-10-26 13:53:16
5603
原创 mysql 添加用户和数据库
CREATE DATABASE IF NOT EXISTS monitor default charset utf8 COLLATE utf8_general_ci; GRANT ALL PRIVILEGES ON monitor.* TO 'monitor'@'%' IDENTIFIED BY '123456'; flush privileges;
2017-10-24 18:05:27
409
原创 spring boot 服务管理
#!/bin/bash ###################author : ycg#date : 2017/10/17#fun : manage mosaic tomcat#version: v1###################SERVER_DIR=/usr/local/tomcat-serverSERVICE_NAME=tomcat-s
2017-10-23 15:37:17
172
原创 elasticsearch(3) dymmic mapping
dymic mapping 遇到未知的字段的时候，会根据 dymic 策略进行生成mapping. 此处做了优化，不需要建索引的字段 index：falsePUT index_test{ "mappings": { "index_test":{ "properties": { "operate_time":{
2017-10-16 16:28:46
207
原创 elasticsearch(2) delete by query
POST ulc_debtor_log_9/_delete_by_query{ "query": { "match": { "id.keyword": "56be63d672a24e05bc0643012f2d595c" } } }delete by rangePOST ulc_debtor_log_9/_delete_
2017-10-16 16:27:13
349
原创 elasticsearch(1) 生产环境不宕机配置慢查询日志。
ES慢查询日志开启，可以通过。index.search.slowlog.threshold.query.warn: 10sindex.search.slowlog.threshold.query.info: 4sindex.search.slowlog.threshold.query.debug: 2sindex.search.slowlog.threshold.query
2017-10-16 09:59:16
2135
原创 spring kafka consumer 提升并行度
spring kafka Concurrent 提升并行线程，但是不要超过 partitions 的大小！ xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:sche
2017-10-13 11:15:21
2039
原创 mysql 学习笔记
mysql - study1) db 创建数据库 create database if not exists testdb;删除数据库 drop database if exists testdb;数据库更名 导出数据，然后重建，然后在进行导入数据2) tablecreate table table_user(id int(4),name
2017-08-27 16:54:01
252
原创 mysqldump
1) export 整个 db，1） 导出数据 mysqldump -u root -p -t db> file# mysqldump -u root -p -t test> order.sql2） 导出schemal mysqldump -u root -p -d db > filemysqldump --opt -d test -u root -p > ord
2017-08-27 11:14:32
381
原创 mysql服务器的安装
Mysql 安装1） 准备[root@yun02 ~]# groupadd mysql[root@yun02 ~]# useradd mysql -g mysql -M -s /sbin/nologin 2）downlaod mysql for linux from www.mysql.com版本选择：5.5 其次是5.1或5.6，选择连续较长时间没有更新的版本，跟dba
2017-08-27 10:39:50
287
原创 apache 反向代理，负载均衡配置。
1.服务器自带的http 服务进行反向代理配置： 1) 基于虚拟主机的反响代理配置准备两个http服务：[root@yun02 ~]# curl 192.168.154.129:8881/test111111111111111[root@yun02 ~]# curl 192.168.154.129:8882/test22222222222 如果是之前没有做过虚
2017-08-27 06:23:32
282
原创 spring boot log4j2
logging.config=classpath:log4j2-test.xml不同 的配置文件可以有不同的配置策略 此时对应 logger level 也应设置 为 trace-->
2017-07-27 16:10:08
212
转载 装饰者模式Decorator
实例分析 Decorator装饰或者Wrapper包装这个些词太容易让人想到的是图形用户界面，这些控件方面的应用了。但这仅仅只是一种形象的表达而已，不局限于此。1 For Example: Streams是大多数I / O设备的基础抽象结构，它提供了将对象转换成为字节或字符流的操作接口，使我们可以将一个对象转变成一个文件或内存中的字符串，可以在
2017-05-05 16:52:27
327
转载 kafka 集群调优
主要优化原理和思路kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点：利用了磁盘连续读写性能远远高于随机读写的特点；并发，将一个topic拆分多个partition。要充分发挥kafka的性能，就需要满足这两个条件kafka读写的单位是partition，因此，将一个topic拆分为多个partition可以提高吞吐量。但是，这里有个
2017-05-04 16:46:48
603
转载 vpc
AWS里面默认配置了4种场景的配置向导。通过这些向导可以很轻松的配置VPC网络。从学习的角度出发，豆子打算手动配置一下第二种场景，这样更能清楚的知道每一个服务组件的功能和关系。场景拓扑如下http://docs.aws.amazon.com/zh_cn/AmazonVPC/latest/UserGuide/VPC_Scenario2.html情景 2 配置
2016-10-14 14:03:54
337
转载 hadoop
为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ？[日期：2015-02-04]来源：明略数据 作者：徐安华[字体：大 中 小]1. 大数据的安全体系要说清楚这个问题，还得从大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控；如下图所示；外围安全技术多指传统意
2016-10-13 16:20:33
347
转载 hadoop
HDFS本身没有提供用户名、用户组的创建，在客户端调用Hadoop 的文件操作命令时，hadoop 识别出执行命令所在进程的linux系统的用户名和用户组，然后使用这个用户名和组来检查文件权限。 用户名=linux命令中的`whoami`，而组名等于`bash -c groups `。启动hadoop hdfs系统的用户即为超级用户，可以进行任意的操作。如想让leaf用户也可执行h
2016-10-12 22:08:55
531
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人