- 博客(41)
- 收藏
- 关注
转载 Postgresql数据库安装中文全文搜索插件zhparser的问题
在PG数据库的基础上加装zhparser中文全文搜索插件,说实话,挺怕这些单独编译安装的插件的,因为安装PG数据库方法的不同,最后可能导致安装的插件各种安装不上,这里说一下我遇到的坑,系统环境是Centos7, yum安装的PG9.6。1、INSTALL关于安装方法,可以直接到上面看https://github.com/amutu/zhparser2、make的时候缺少pgxs.m...
2019-04-26 15:58:00
1760
转载 Presto通过RESTful接口新增Connector
在实际使用Presto的过程中,经常会有以下的一些需求。添加一个新的Catalog对不再使用的Catalog希望把它删除修改某个Catalog的参数但在Presto中如果进行上述的修改,需要重启Presto服务才可以生效,这给集群维护带来额外的工作量之外,还给上层应用带来很不好的使用体验。如果还不能在开发环境很好运行Presto的话,参考在windows的IDEA运行P...
2018-08-19 14:16:00
710
转载 在windows的IDEA运行Presto
After building Presto for the first time, you can load the project into your IDE and run the server. We recommend using IntelliJ IDEA. Because Presto is a standard Maven project, you can import ...
2018-08-19 11:34:00
661
转载 Druid.io通过NiFi摄取流数据
NiFi是一个易于使用,功能强大且可靠的系统来处理和分发数据。本文讲述如何用NiFi将Http的Json数据传到Druid。国外的一篇文章讲到如何用NiFi将推文传到Druid,https://community.hortonworks.com/articles/177561/streaming-tweets-with-nifi-kafka-tranquility-druid.ht...
2018-06-23 11:38:00
207
转载 Druid.io SQL乱码问题
1、场景1.1、依赖版本avatica-core 1.11.0druid 0.12.01.2、问题重现:使用Avatica JDBC查询语句:SELECT score FROM student WHERE name='小明'到Druid变成:SELECT score FROM student WHERE name='??'。2、解决过程思路:检查请求发送前reques...
2018-05-15 19:36:00
275
转载 Druid.io启用SQL支持
Druid.io的SQL功能虽然在试验阶段,但是也支持了大部分的功能,而且还可以通过 Avatica JDBC查看请求的json,有助于我们理解Druid.io的语法。Druid.io有个比较坑的是,如果没有启用SQL功能,你怎么访问也是没有data返回的,但也不会提示你错误。1、修改配置文件为了支持Druid SQL,需要修改common.runtime.properties或者 ...
2018-05-02 16:23:00
205
转载 Docker Toolbox替换默认docker machine的存储位置
一直想试试docker,但是docker高度依赖Linux内核,Windows7的机子用起来比较麻烦,由于某些契机还是用了起来。Windows想用docker的话,需要借助虚拟机,Windows7不像Windows10自带Hyper虚拟机,所以要用docker只有Docker Toolbox这个选择了。具体安装过程就不具体说了,官网也有详细的教程,不过让我最气的是联想的本本一直进入不了b...
2018-03-19 21:49:00
1095
转载 Scrapy可视化管理软件SpiderKeeper
通常开发好的Scrapy爬虫部署到服务器上,要不使用nohup命令,要不使用scrapyd。如果使用nohup命令的话,爬虫挂掉了,你可能还不知道,你还得上服务器上查或者做额外的邮件通知操作。如果使用scrapyd,就是部署爬虫的时候有点复杂,功能少了点,其他还好。SpiderKeeper是一款管理爬虫的软件,和scrapinghub的部署功能差不多,能多台服务器部署爬虫,定时执行爬虫...
2017-10-18 18:17:00
99
转载 可视化爬虫Portia安装和部署踩过的坑
背景Scrapy爬虫的确是好使好用,去过scrapinghub的官网浏览一下,更是赞叹可视化爬虫的犀利。scrapinghub有一系列的产品,开源了大部分项目,Portia负责可视化爬虫的编辑,SpiderCloud负责云端爬虫的部署,Scrapy是实现他们底层的技术。国内的可视化爬虫技术也有不少,据我所知就这几种:集搜客造数如果有其他优秀的可视化爬虫我没有提到,大家可以补充...
2017-07-01 20:24:00
1460
转载 JHipster项目启动后默认的8080主页是空白页面?
1、背景根据官网一步步地生成项目,他喵的启动后居然是一个空白页面,这怎么玩啊?还有这种操作的吗?跟说好的不一样啊!关于JHipster资料,国内少的可怜,几乎都是同一样的东西,纯介绍的文章,只好上stackoverflow上查了。2、相似的情况在stackoverflow找到了一个相似的提问,不过没有具体的解决方法,倒是里面的某个评论给了我很大的提示。By default, y...
2017-07-01 00:38:00
211
转载 Selenium/HtmlUnit设置代理获取JS生成的网页
通常我们使用Java提供的HttpURLConnection或者Apache的HttpClient获取的网页源代码都是直观可见的,其代码的内容和通过浏览器右键网页->点击查看网页源代码的内容一致。但是现在越来越多的网站使用Js来动态生成内容来提高相应速度,而HttpClient只是返回后端相应的response的请求主体,并没有返回浏览器生成的网页,所以对于Js生成的内容Http...
2017-04-02 15:49:00
264
转载 Spring websocket浏览器连接时出现404错误
1、场景在用websocket做一个简单的数据导入页面同步显示后台进度功能的时候,浏览器出现连接不上的错误:WebSocket connection to 'ws://localhost:8080/project/marco' failed: Error during WebSocket handshake: Unexpected response code: 404网上有很种导致...
2017-02-12 15:03:00
842
转载 Spring Boot整合shiro出现UnavailableSecurityManagerException
spring boot默认使用spring security,spring security自然不用说是一个强大的安全框架,但是用惯了shiro,一时半会用不来spring security,所以要在spring boot中自己整合shiro。说到整合shiro,网上也是有不少教程的,但是网上的教程也不是一定是对的,可能有版本等各种问题,所以说还是要自己来动手做一遍。 在我动手...
2016-12-24 11:56:00
420
转载 学记:spring boot使用官网推荐以外的其他数据源druid
虽然spring boot提供了4种数据源的配置,但是如果要使用其他的数据源怎么办?例如,有人就是喜欢druid可以监控的强大功能,有些人项目的需要使用c3p0,那么,我们就没办法了吗?我们就要编程式新建一个数据源了吗?不用了!spring boot1.4.1.RELEASE为我们提供了简洁的方式使用自己想要的数据源。 网上也有其他数据源的配置方法,但是都是编程式新建一个数据...
2016-12-20 09:12:00
109
转载 学记:为spring boot写一个自动配置
spring boot遵循“约定优于配置”的原则,使用annotation对一些常规的配置项做默认配置,减少或不使用xml配置,让你的项目快速运行起来。spring boot的神奇不是借助代码的生成来实现的,而是通过条件注解来实现的。 自动配置AutoConfiguration是实现spring boot的重要原理,理解AutoConfiguration的运行原理特别重要,自己...
2016-12-17 13:36:00
122
转载 windows下安装kibana出 "EPERM: operation not permitted
D:\kibana-5.0.0\bin>kibana-plugin install file:///x-pack-5.0.0.zipAttempting to transfer from file:///x-pack-5.0.0.zipTransferring 72364732 bytes....................Transfer complete...
2016-12-10 11:49:00
266
转载 python3使用pyinstaller打包apscheduler出的错
本来只是想用Python做一个定时任务小工具在服务器上运行,可是服务器在隔离区,各种禁止上外网,使用pip导出列表那种下载库的方法不管用,导致Python的各种库都下不到,官网离线下载又各种缺依赖,好气啊。后来查了一下,原来还有pyinstaller这种好东西,将需要的库和程序打包成一个可运行的程序,这正是我需要的。 为了测试pyinstaller,主要遇到了两个错误,一个...
2016-11-19 10:05:00
1222
转载 Atomikos的使用过程中要注意的事
在使用Atomikos过程中遇到的一些问题,以作记录:MySQL does not support TMJOINMySQL does not allow for joining an existing XA transaction branch, as mentioned here:http://dev.mysql.com/doc/refman/5.0/en/xa-restr...
2016-10-13 22:00:00
916
转载 Atomikos实现多数据源的事物管理
之前试过使用Spring动态切换数据库,通过继承AbstractRoutingDataSource重写determineCurrentLookupKey()方法,来决定使用那个数据库。在开启事务之前,通过改变lookupKey来达到切换数据源目的。但是这种方法多个数据库之前没办法做事务管理,或许对于主从(读写)数据库会好用一些,而对于需要一个操作中更新多个数据库的情况,使用Atomi...
2016-10-11 20:12:00
136
转载 添加webservice调用日志
之前想用spring的AOP给webservice添加切面的,但是使用around切面后,居然调用端得不到webservice的返回结果,而且报文的详细情况也不得而知,很是尴尬,所以偷了个懒。但是该做的还是要做,不要以后要求查看调用日志的时候,什么都拿不出,不是一个尴尬能搞定的。 我使用的是基于cxf的webservice,所以添加调用日志的方法也是基于cxf的,其次是配合sp...
2016-09-16 10:10:00
726
转载 MySQL、Oracle和SQL Server的分页查询语句
假设当前是第PageNo页,每页有PageSize条记录,现在分别用Mysql、Oracle和SQL Server分页查询student表。1、Mysql的分页查询: 1 SELECT2 *3 FROM4 student5 LIMIT (PageNo - 1) * PageSize,PageSize;理解:(Limit n,m) ...
2016-09-03 12:01:00
138
转载 调戏OpenShift:一个免费能干的云平台(已失效)
一、前因后果 以前为了搞微信的公众号,在新浪sae那里申请了一个服务器,一开始还挺好的 ,有免费的云豆送,但是一直运行应用也要消费云豆,搞得云豆也所剩无几了。作为一名屌丝,日常吃土,就单纯想玩一玩微信的公众号,而且反正也没什么人,花钱开一个阿里云这样的服务器好像有点不值,就想看看有没有免费的平台给我耍耍。 很遗憾在国内几乎没有,却意外发现国外openshift挺适合我...
2016-06-26 23:52:00
154
转载 Spring AOP动态切换数据源
现在稍微复杂一点的项目,一个数据库也可能搞不定,可能还涉及分布式事务什么的,不过由于现在我只是做一个接口集成的项目,所以分布式就先不用了,用Spring AOP来达到切换数据源,查询不同的数据库就可以了。 如果以前的我,可能就1个数据库->1个数据源->1个SessionFactory->1个事务管理,按照这样的逻辑,操作一个数据库是没什么问题的,但是两个甚至...
2016-03-13 12:17:00
171
转载 cxf设置代理访问webservice接口
由于业务上的需要,需要访问第三方提供的webservice接口,但由于公司做了对外访问的限制,不设置代理是不能外网的,如果使用http设置代理访问外网还是比较容易的,但使用cxf有点不知道从哪里入手。网上也有一些零散的信息,现在我整理一下提供参考。1、JaxWsProxyFactoryBean设置代理import org.apache.cxf.configuration....
2016-03-12 11:05:00
580
转载 shiro登陆后没有返回设置的successUrl?
第一次学习shiro的时候,并没有发现很大的问题。但后来在做项目的时候,特别是当访问的url是iframe的页面的时候,session又过期了,跳转到登陆页,完成登陆操作后,返回了只有iframe的页面,相当不好看。虽然在shiro里设置了successUrl,但是没有起作用。 不明真相的我,debug后跟进去观察后发现FormAuthenticationFilter成功登陆后...
2016-02-23 19:57:00
136
转载 poi导出的excel的数字小数位过多?
最近在使用Apache的POI组件对Excel进行操作,在对excel导出的时候,导出的数字本来只有两位小数,得到的结果就变成了很多位小数。如下面的图所示: 虽然对单元格使用了setCellStyle,但还是治标不治本,显示虽然是只显示两位小数了,但是点开还是有很长的一串小数位,这很不爽,这什么原因导致的呢?我们来看看。 我首先debug看一下,在设置单元格的值时候,...
2016-01-20 23:59:00
1048
转载 jsp如何自定义tag的标签库?
虽然和上一次的使用自定义的tld标签简化jsp的繁琐操作的有点不同,但是目的也是一致的。自定义tag比较简单。 1、新建tag标签 在WEB-INF目录下新建一个tags的文件夹,是自定义tag标签的位置。2、编辑标签<%@ tag import="org.apache.shiro.util.StringUtils"%><%@ tag ...
2016-01-02 11:41:00
121
转载 EL表达式怎么获取Map的动态key?
缘由 El表达式在调用Map的时候,后台传过来的Map的key不一定是一个固定的值,需要根据另外一个对象的id作为key来put,或者更加复杂的组合id+"string"作为一个key,对于平常使用开固定的key的我来说,以前学过也忘记了,一时想不出怎么做,现在我们来复习一下。 情景 假设有一个情景:我们后台返回一个对象的list,我们根据对象的id作为key放一些关...
2015-12-19 12:46:00
298
转载 快速上手php:使用PhpStrom调试php
闲话 使用phpStrom的时候居然不打印到控制台,要打印测试的话就要输出到页面,目前我还不知道有什么好办法像jsp一样输出到页面的同时也打印到控制台。这种做法还是比较烦的,特别出问题需要调试的时候。所以我们用phpStrom来调试php。开启php的debug功能设置wamp->php->php-settings,选择(XDebug):Remote deb...
2015-11-25 22:23:00
155
转载 快速上手php:使用PhpStrom部署项目
闲话 上学的时候一直以为可以专注自己的领域,以为与php无缘的,但是这种想法是错误,在完成任务的时候,你不得不使用你不熟悉的语言或者框架。正所谓业务驱动开发,这次接手已经离职的前辈的留下来的项目,最蛋疼的是没有留下文档,实在烦恼,不过幸好项目结构并不算复杂。现在让我们快速开始用PhpStrom编写php吧。安装wamp php有很多编写的工具,之所以用PhpStrom...
2015-11-25 21:55:00
143
转载 使用自定义tld标签简化jsp的繁琐操作
最近做一个树形结构的展示,请求目标页面后,后台只返回简单的List,虽然有想过在jsp页面内做一些操作简化,但是太繁琐了,其他的标签又不能满足需求,所以只能自己做一个。使用tld标签可以简化jsp代码,以后也可以重用代码,所以出于这两个优点,用自定义的tld标签是一个不错的选择。这里只做一个简单例子,将字符串全部变成大写。1、定义tld的类 定义的方法应该是static方法。...
2015-10-23 23:13:00
77
转载 京东购物体验杂谈
缘由 本来很少在京东上买东西的,只有在买数码产品的时候才在京东上买,买其他杂货的时候一般在淘宝上买。由于最近想买一台手提电脑,所以购买的途径就有两个:一个是网上购买,一个是实体店上购买,对于实体店上的奸商,我是战不过的了,所以选择了网上购买。对于京东、苏宁、国美、天猫这几个大的网上商城来说,他们各自有各自的优点,虽然平时喜欢用淘宝买东西,图的就是便宜,但是买数码产品这方面就没有京东...
2015-09-25 22:44:00
126
转载 Mysql将近两个月的记录合并为一行显示
最近做报表统计,用到要求把近两个月的绩效作比较,并作出一些环比数据等。场景:将1班同学的两个月的语文的平均成绩合并到一行比较。CREATETABLE`Chinese_score`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varchar(64)NOTNULL,`score`int(11),`date` ...
2015-09-17 09:19:00
207
转载 学习WebSocket(二):使用Spring WebSocket做一个简单聊天室
聊天室高频率、低延时完全符合websocket的特点,所以聊天室使用websocket再适合不过了。 聊天室的功能并没有比上一节代码多多少,主要在握手阶段对用户的session做处理,对用户的消息进行分发和处理。 握手阶段HandshakeInterceptor需要做的处理 public class HandshakeInterceptor extends Ht...
2015-08-17 21:17:00
72
转载 学习WebSocket(一):Spring WebSocket的简单使用
1、什么是websocket? WebSocket协议定义了一种web应用的新功能,它实现了服务器端和客户端的全双工通信。全双工通信即通信的双方可以同时发送和接收信息 的信息交互方式。它是继Java applets, XMLHttpRequest, Adobe Flash, ActiveXObject等使web应用更具交互性的新技术。 在实现连线过程中,浏览器和服务器通过...
2015-08-16 10:52:00
115
转载 springMVC的@ResponseBody、@RequestBody使用需要注意的地方
springMVC我觉得比struts2好的其中一个原因就是可以使用注解解析json数据,方便快捷。但是,即使如此,还是有需要注意的地方。1、返回的地方设置@ResponseBody,请求的对象参数@RequestBody,单个参数不用加@RequestBody; @RequestMapping(value="/validation") public @Respo...
2015-08-01 17:29:00
164
转载 如何使用maven建一个web3.0的项目
使用eclipse手动建一个maven的web project可能会有版本不合适的情况,例如使用spring的websocket需要web3.0什么的,不全面的修改可能会出现各种红叉,甚是苦恼。我从我的使用经验出发,从建立一个maven项目开始,记录我用maven建一个web3.0的项目。建立一个maven的web项目1、首先要安装配置好maven,具体怎么配置就不说了。...
2015-06-22 16:26:00
153
转载 springmvc使用RSA算法加密表单
今天被吐槽在客户端用js对密码进行md5加密其实也不见得安全。这种做法其实不见得有什么作用,学过计算机网络都知道,在网上抓一个包是很简单的事,就算别人抓包抓不到你原始密码,用这个md5后的密码一样可以模拟登录系统。这样做无非就是直接通过登录页没法直接输入用户名密码,但用个程序模拟登陆也不是什么太难的事情。以前一直写那么多,一直没有注意,直到今天被吐槽,才发现以前自己的做法是多...
2015-05-20 22:51:00
201
转载 平安科技面试
平安科技500强平安保险的子公司,挺想去的,面试的是深圳的岗位。 1、笔试。到广州体育中心笔试,地点找了几次都找不到,看见一个平安保险的标志就进去了,可是不是笔试地点,地点是中国银行的楼下转进来。到了考试地点等了一下,上去25楼找到一台空电脑坐下来做题,题目是50道各种各样的题,有计算机网络、编译原理、操作系统等,接下来是185道职业测试题,30道智力题,都是限时间完成的。50道...
2015-03-12 00:37:00
248
转载 springMVC数据验证出现404错误解决办法
今天使用springMVC的数据验证的时候,看似很简单的东西,却有一个很大的陷阱:提交空表单的时候总是出现404错误,但是后台却不给你报任何错。遇到这个错误这个很苦恼,搞了几小时,今天记录并分享一下解决经验(本人使用注解式的数据验证): 错误例子:@RequestMapping(value="/login",method=RequestMethod.POST) ...
2015-03-06 20:01:00
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人