- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 scala获取当前时间戳和今天0时时间戳（精确到秒）的小工具
package com.unicomimport java.text.SimpleDateFormatimport java.util.Date/** * Created by Administrator on 2016/10/21. */object TimeUtils { val now = new Date() def getCurrent_time(): Lon
2016-10-21 17:52:48
23942
1
原创 netty启动原理
netty源码初始化线程组初始化启动器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入初始化线程组 EventLoopGroup bossGroup = new NioEventLoopGroup();
2021-09-22 08:28:56
190
原创 canal的执行原理
目录CanalInstanceWithSpringeventParsereventSink1.引入库2.读入数据eventStore学习内容：学习时间：学习产出：CanalInstanceWithSpring实例canal server架构server 代表一个 canal 运行实例，对应于一个 jvminstance 对应于一个数据队列 （1个 canal server 对应 1…n 个 instance )instance 下的子模块eventParser: 数据源接入，模拟 s
2021-08-16 20:23:26
229
转载 mysql事务隔离级别控制原理mvcc
1.数据行隐藏列事务id和 回滚指针2.undo log记录回滚版本链3.RC和RR生成RedaView的时机4.活跃shi'wu
2021-05-27 19:38:36
118
原创 springboot使用EasyExcel压缩成zip导出多个excel
以下为kottlin代码1.controller：//1.新建zip输出流val zipOutputStream = ZipOutputStream(response.outputStream) try { request.isExport = true request.exportNum = 1000 //必须设置limit 否则影响offset的计算 request.limit = 10
2021-05-21 11:10:40
949
原创 springmvc源码阅读
文章目录HandlerMapping初始化过程RequestMappingHandlerMapping.afterPropertiesSet()mappingRegistry.register()DispatcherServlet.initStrategies()请求过程DispatcherServlet.doDispatch()AbstractHandlerMapping.getHandlerExecutionChain()RequestMappingHandlerAdapter.getModelAn..
2021-01-16 21:21:10
71
原创 dubbo源码走读
dubbo源码分析provider服务的导出sevice.export()Invoker<?> invoker = proxyFactory.getInvoker(proxy)Exporter<?> exporter = PROTOCOL.export(invoker);service服务的引用referenceConfig.get();invoker = PROTOCOL.refer(interfaceClass, urls.get(0));proxyFactory.getProx
2021-01-13 22:30:00
204
原创 2020-10-29
docker构建镜像Dockerfile：FROM adoptopenjdk/openjdk10MAINTAINER “lch”ADD 05-webflux-router-0.0.1-SNAPSHOT.jar 05-webflux-router-0.0.1-SNAPSHOT.jarCMD [“java”,"-jar",“05-webflux-router-0.0.1-SNAPSHOT.jar”]FROM 后面是基础镜像，jar依赖jdk环境，所以这里是以jdk为基础镜像MANINTAINER
2020-10-29 10:44:45
73
原创 socketio+nginx负载均衡配置
项目场景：项目中使用socketIo推送结果到前端页面，开发环境调试完后，部署到测试和生产环境遇到问题问题描述：测试和生产环境用了nginx做反向代理和负载均衡测试和生产环境socketio服务端绑定的是域名当第三方系统调用结果回调前端时，不知道前端socket-client连的时哪台socket-server 原因分析：提示：这里填写问题的分析：例如：Handler 发送消息有两种方式，分别是 Handler.obtainMessage()和 Handler.s
2020-09-22 22:30:28
2341
1
原创 docker的安装使用
文章目录前言一、docker 安装二、配置开机启动三、配置阿里镜像源vi /etc/docker/daemon.json四、docker拉取镜像到本地2.读入数据总结前言一、docker 安装yum install docker二、配置开机启动systemctl enable docker//配置开机自动启动service docker restart//重启docker服务三、配置阿里镜像源由于默认是从dockerhub仓库拉取镜像，经常会连接超时导致镜像拉取不下来,自己可以在阿里
2020-09-06 13:12:14
75
原创 springaop源码解读
XML配置使用springaop源码解读提示：假设已经阅读过spring的源码文章目录XML配置使用springaop源码解读使用方法源码阅读AopNamespaceHandler.init()ConfigBeanDefinitionParser.parse()ConfigBeanDefinitionParser.parseAdvice()总结使用方法<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www
2020-08-30 22:18:44
95
原创 mybatis插件实现原理——JDK动态代理
mybatis插件实现原理配置使用方法实现原理配置使用方法xml配置<!-- mybatis-config.xml --><plugins> <plugin interceptor="org.mybatis.example.ExamplePlugin"> <property name="someProperty" value="100"/> </plugin></plugins>java拦截插件,实现org
2020-07-22 23:04:29
165
原创 记生产一次弱引用对象引起的空指针异常
WeakReference如字面意思，弱引用， 当一个对象仅仅被weak reference（弱引用）指向, 而没有任何其他strong reference（强引用）指向的时候, 如果这时GC运行, 那么这个对象就会被回收，不论当前的内存空间是否足够，这个对象都会被回收。作者：BrightLoong链接：https://www.jianshu.com/p/964fbc30151a使用背景：弱引用对象常用于对象在内存中生命周期短，且占空间，在本次异常发生的对象是公司封装的HttpRequest弱引.
2020-05-29 16:32:47
797
原创 mybatis在spring容器中加载过程解析
mybatis源码解析从配置文件(spring-mybatis.xml)读起SqlSessionFactoryBeanMapperScannerConfigurerSqlSessionTemplate从配置文件(spring-mybatis.xml)读起<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="ht
2020-05-24 16:41:57
388
原创 bsy代码学习--微信网页授权
关于微信公众号后台的网页授权限制填两个，但是有多于两个服务要授权的解决办法首先，网页授权域名填的其实是链接参数中redirect_uri的域名，所以解决方法有两种。第一种：开发一个中间授权跳转服务在业务所在的应用向微信发送授权：例如https://open.weixin.qq.com/connect/oauth2/authorize?appid=&redirect_ur...
2020-03-18 16:36:17
321
转载 byte数组，图片，base64互相转换
import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;import java.io.*;/*** @author lishupeng* @create 2017-05-06 下午 2:56**/public class Base64Test { public static void main(Stri...
2019-04-26 09:31:14
9195
原创 mongodb的mapreduce分组统计
//根据in_time（yyyy-MM-dd HH:mm:ss）字段精确到天分组，统计数量Criteria criteria = Criteria.where("parking_id").is(inParking.getParking_id()) .and("in_time").gte(inParking.getStart_time()) .lte(inPark...
2018-09-04 10:47:56
874
原创 mongodb的分组排序取第一条
mongotemplate的mapreduce方法reduce的处理条数超过100时会用两个reduce处理 第二次调reduce函数时 fixCardValue和chargeDate会重新初始化 然后抛异常//根据car_no分组，charge_date时间排序，取最近一条记录的fix_card_valueCriteria criteria = Criteria.where...
2018-09-04 10:42:50
5797
原创 mongodb的join（$lookup）后根据从表的字段过滤
百度的都是根据主表的字段过滤，下面的是我亲测有效的 但是注意 match一定要写到lookup后面 好像是因为pipeline模式 具体什么意思我也不知道 参考linux的管道模式附上Mongotemplate的代码LookupOperation lookupAgg = Aggregation.lookup("charge_data","charge_i...
2018-08-29 16:07:22
7754
1
原创 maven+docker构建springboot时,报"POST unix://localhost:80/build?t="的错
具体报错如下:[INFO] Copying /root/springcloudconfig2/EurekaClient/target/EurekaClient-0.0.1-SNAPSHOT.jar -> /root/springcloudconfig2/EurekaClient/target/docker/EurekaClient-0.0.1-SNAPSHOT.jar[INFO] Copy
2017-12-12 16:29:33
4147
原创 springboot+mybatis手动配置数据源
1.数据源配置 application.properties#datasourcespring.datasource.name = testspring.datasource.url = jdbc:mysql://192.168.0.79:3306/hyn_profile?allowMultiQueries=true&useUnicode=true&characterEncoding=
2017-10-13 09:44:10
13807
1
原创 scala字符串转为标签向量（LabeledPoint）
package com.hx.data.collection.wximport org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.mllib.regression.LabeledPointimport org.apach
2017-03-02 14:15:08
3996
2
转载 sparkMlib的随机森林算法
原文地址：http://www.tuicool.com/articles/I7bEJv2对于该案例的数据集 是一个本地向量集（loadlibsvnfile）这是SVM文件格式例子：1 1:2 2:3 3:42 1:1 2:2 3:31 1:1 2:3 3:31 1:3 2:1 3:3引言Spark 内存计算框架在大数据处理领域内占有举足轻重的地位，2014 年
2017-03-01 16:39:44
2335
原创 HBASE数据导入HIVE
package com.hx.data.hbaseimport org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client.{ConnectionFactory, Get, HBaseAdmin
2017-02-21 17:53:17
2620
转载 CDH集成KUDU
安装 Kudu 1. 安装 CSD 文件 这里假设用户通过 Cloudera Manager 添加服务向导来部署 Kudu 1.0。 1) 下载CSD文件 wget http://archive.cloudera.com/beta/kudu/csd/KUDU-1.0.0.jar 2) 并把下载的jar文件移动到/opt/cloudera/csd目录 mv KUDU-1.
2017-02-14 15:08:31
5932
原创 flume的导日志数据到hdfs
1.更改配置文件#agent名， source、channel、sink的名称a1.sources = r1a1.channels = c1a1.sinks = k1#具体定义sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /root/flume-log#具体定义channela1.ch
2017-01-19 15:30:39
2456
原创 centos7.2下的CDH集群安装
1 修改主节点hosts文件，分发到各从节点 2.主节点 生成认证文件authorized_keys，并分发到各从节点ssh-keygen -trsacat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 600~/.ssh/authorized_keysscp -P 822 ~/.ssh/authorized_keys
2017-01-18 15:37:08
1459
原创 java访问impala,hive的jar包
cdh5Class.forName("org.apache.hive.jdbc.HiveDriver ");impala url: jdbc:hive2://xxxxx:21050/default;auth=noSaslhive url: jdbc:hive2://xxxxx:10000/default;auth=noSaslcdh4Class.forName("o
2016-10-18 11:51:51
2631
1
原创 java + elasticsearch
1.创建Client对象（connection）private static final Logger LOG = LoggerFactory.getLogger(EsUtils.class); public static final String CLUSTER_NAME = "application_1"; // 实例名称 private static final String IP1
2016-10-10 16:56:04
332
原创 MYSQL定时调度执行SQL语句
1.检查事件计划是否开启 show variables like '%sche%';2.将事件计划开启set global event_scheduler=1; 3.开启/关闭定时事件alter event e_toemptarget ON COMPLETION PRESERVE DISABLE;alter event e_toemptarget ON COMPLETIO
2016-10-08 11:07:32
1467
转载 scala中map和foreach的区别
Scala中的集合对象都有foreach和map两个方法。两个方法的共同点在于：都是用于遍历集合对象，并对每一项执行指定的方法。而两者的差异在于：foreach无返回值（准确说返回void）,map返回集合对象。见如下代码及运行结果：b.getClass 得到的是void, 而c.getClass得到的是colletion 。再看代码的第9-11行，foreach和map的运行结果一致。结论就是：
2016-09-08 16:03:14
5741
原创 多个RDD JOIN 之后 去除括号，
hict.sql("use dwb") //该月公司发帖总数 val forum_post_cnt = hict.sql("select * from index_work_content where type=14 and unix_timestamp(start_time)>1469980800").count() //该月公司回帖总数 val forum_re
2016-09-01 17:30:22
1119
转载 rdd和DF数据存入MYSQL
1.通过RDD函数批量存入数据object RDDtoMysql { def myFun(iterator: Iterator[(String, Int)]): Unit = { var conn: Connection = null var ps: PreparedStatement = null val sql = "insert into sparktomys
2016-08-31 10:51:25
2360
转载 sparkrdd转dataframe的两种方式
import java.sql.Timestampimport org.apache.spark.sql.{SaveMode, SQLContext}import org.apache.spark.{SparkContext, SparkConf}object DataFrameSql { case class memberbase(data_date:Long,memberid:S
2016-08-31 10:48:30
3382
原创 无法找到注册驱动Did not find registered driver with class com.mysql.jdbc.Driver
百度其他资料，都说是因为$HADOOP-YARN-HOME下没有驱动包，查看他们源码 其实是代码没有加载驱动贴正确代码 package l847164916import java.util.Propertiesimport org.apache.calcite.avatica.Meta.ConnectionPropertiesimport org.apache.spar
2016-08-25 16:08:31
814
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人