- 博客(41)
- 收藏
- 关注
RSS订阅转载 Postgresql数据库安装中文全文搜索插件zhparser的问题
在PG数据库的基础上加装zhparser中文全文搜索插件，说实话，挺怕这些单独编译安装的插件的，因为安装PG数据库方法的不同，最后可能导致安装的插件各种安装不上，这里说一下我遇到的坑，系统环境是Centos7, yum安装的PG9.6。1、INSTALL关于安装方法，可以直接到上面看https://github.com/amutu/zhparser2、make的时候缺少pgxs.m...
2019-04-26 15:58:00
1760
转载 Presto通过RESTful接口新增Connector
在实际使用Presto的过程中，经常会有以下的一些需求。添加一个新的Catalog对不再使用的Catalog希望把它删除修改某个Catalog的参数但在Presto中如果进行上述的修改，需要重启Presto服务才可以生效，这给集群维护带来额外的工作量之外，还给上层应用带来很不好的使用体验。如果还不能在开发环境很好运行Presto的话，参考在windows的IDEA运行P...
2018-08-19 14:16:00
710
转载 在windows的IDEA运行Presto
After building Presto for the first time, you can load the project into your IDE and run the server. We recommend using IntelliJ IDEA. Because Presto is a standard Maven project, you can import ...
2018-08-19 11:34:00
661
转载 Druid.io通过NiFi摄取流数据
NiFi是一个易于使用，功能强大且可靠的系统来处理和分发数据。本文讲述如何用NiFi将Http的Json数据传到Druid。国外的一篇文章讲到如何用NiFi将推文传到Druid，https://community.hortonworks.com/articles/177561/streaming-tweets-with-nifi-kafka-tranquility-druid.ht...
2018-06-23 11:38:00
207
转载 Druid.io SQL乱码问题
1、场景1.1、依赖版本avatica-core 1.11.0druid 0.12.01.2、问题重现：使用Avatica JDBC查询语句：SELECT score FROM student WHERE name='小明'到Druid变成：SELECT score FROM student WHERE name='??'。2、解决过程思路：检查请求发送前reques...
2018-05-15 19:36:00
275
转载 Druid.io启用SQL支持
Druid.io的SQL功能虽然在试验阶段，但是也支持了大部分的功能，而且还可以通过 Avatica JDBC查看请求的json，有助于我们理解Druid.io的语法。Druid.io有个比较坑的是，如果没有启用SQL功能，你怎么访问也是没有data返回的，但也不会提示你错误。1、修改配置文件为了支持Druid SQL，需要修改common.runtime.properties或者 ...
2018-05-02 16:23:00
205
转载 Docker Toolbox替换默认docker machine的存储位置
一直想试试docker，但是docker高度依赖Linux内核，Windows7的机子用起来比较麻烦，由于某些契机还是用了起来。Windows想用docker的话，需要借助虚拟机，Windows7不像Windows10自带Hyper虚拟机，所以要用docker只有Docker Toolbox这个选择了。具体安装过程就不具体说了，官网也有详细的教程，不过让我最气的是联想的本本一直进入不了b...
2018-03-19 21:49:00
1095
转载 Scrapy可视化管理软件SpiderKeeper
通常开发好的Scrapy爬虫部署到服务器上，要不使用nohup命令，要不使用scrapyd。如果使用nohup命令的话，爬虫挂掉了，你可能还不知道，你还得上服务器上查或者做额外的邮件通知操作。如果使用scrapyd，就是部署爬虫的时候有点复杂，功能少了点，其他还好。SpiderKeeper是一款管理爬虫的软件，和scrapinghub的部署功能差不多，能多台服务器部署爬虫，定时执行爬虫...
2017-10-18 18:17:00
99
转载 可视化爬虫Portia安装和部署踩过的坑
背景Scrapy爬虫的确是好使好用，去过scrapinghub的官网浏览一下，更是赞叹可视化爬虫的犀利。scrapinghub有一系列的产品，开源了大部分项目，Portia负责可视化爬虫的编辑，SpiderCloud负责云端爬虫的部署，Scrapy是实现他们底层的技术。国内的可视化爬虫技术也有不少，据我所知就这几种：集搜客造数如果有其他优秀的可视化爬虫我没有提到，大家可以补充...
2017-07-01 20:24:00
1460
转载 JHipster项目启动后默认的8080主页是空白页面？
1、背景根据官网一步步地生成项目，他喵的启动后居然是一个空白页面，这怎么玩啊？还有这种操作的吗？跟说好的不一样啊！关于JHipster资料，国内少的可怜，几乎都是同一样的东西，纯介绍的文章，只好上stackoverflow上查了。2、相似的情况在stackoverflow找到了一个相似的提问，不过没有具体的解决方法，倒是里面的某个评论给了我很大的提示。By default, y...
2017-07-01 00:38:00
211
转载 Selenium/HtmlUnit设置代理获取JS生成的网页
通常我们使用Java提供的HttpURLConnection或者Apache的HttpClient获取的网页源代码都是直观可见的，其代码的内容和通过浏览器右键网页->点击查看网页源代码的内容一致。但是现在越来越多的网站使用Js来动态生成内容来提高相应速度，而HttpClient只是返回后端相应的response的请求主体，并没有返回浏览器生成的网页，所以对于Js生成的内容Http...
2017-04-02 15:49:00
264
转载 Spring websocket浏览器连接时出现404错误
1、场景在用websocket做一个简单的数据导入页面同步显示后台进度功能的时候，浏览器出现连接不上的错误：WebSocket connection to 'ws://localhost:8080/project/marco' failed: Error during WebSocket handshake: Unexpected response code: 404网上有很种导致...
2017-02-12 15:03:00
842
转载 Spring Boot整合shiro出现UnavailableSecurityManagerException
spring boot默认使用spring security，spring security自然不用说是一个强大的安全框架，但是用惯了shiro，一时半会用不来spring security，所以要在spring boot中自己整合shiro。说到整合shiro，网上也是有不少教程的，但是网上的教程也不是一定是对的，可能有版本等各种问题，所以说还是要自己来动手做一遍。 在我动手...
2016-12-24 11:56:00
420
转载 学记：spring boot使用官网推荐以外的其他数据源druid
虽然spring boot提供了4种数据源的配置，但是如果要使用其他的数据源怎么办？例如，有人就是喜欢druid可以监控的强大功能，有些人项目的需要使用c3p0，那么，我们就没办法了吗？我们就要编程式新建一个数据源了吗？不用了！spring boot1.4.1.RELEASE为我们提供了简洁的方式使用自己想要的数据源。 网上也有其他数据源的配置方法，但是都是编程式新建一个数据...
2016-12-20 09:12:00
109
转载 学记：为spring boot写一个自动配置
spring boot遵循“约定优于配置”的原则，使用annotation对一些常规的配置项做默认配置，减少或不使用xml配置，让你的项目快速运行起来。spring boot的神奇不是借助代码的生成来实现的，而是通过条件注解来实现的。 自动配置AutoConfiguration是实现spring boot的重要原理，理解AutoConfiguration的运行原理特别重要，自己...
2016-12-17 13:36:00
122
转载 windows下安装kibana出 "EPERM: operation not permitted
D:\kibana-5.0.0\bin>kibana-plugin install file:///x-pack-5.0.0.zipAttempting to transfer from file:///x-pack-5.0.0.zipTransferring 72364732 bytes....................Transfer complete...
2016-12-10 11:49:00
266
转载 python3使用pyinstaller打包apscheduler出的错
本来只是想用Python做一个定时任务小工具在服务器上运行，可是服务器在隔离区，各种禁止上外网，使用pip导出列表那种下载库的方法不管用，导致Python的各种库都下不到，官网离线下载又各种缺依赖，好气啊。后来查了一下，原来还有pyinstaller这种好东西，将需要的库和程序打包成一个可运行的程序，这正是我需要的。 为了测试pyinstaller，主要遇到了两个错误，一个...
2016-11-19 10:05:00
1222
转载 Atomikos的使用过程中要注意的事
在使用Atomikos过程中遇到的一些问题，以作记录：MySQL does not support TMJOINMySQL does not allow for joining an existing XA transaction branch, as mentioned here:http://dev.mysql.com/doc/refman/5.0/en/xa-restr...
2016-10-13 22:00:00
916
转载 Atomikos实现多数据源的事物管理
之前试过使用Spring动态切换数据库,通过继承AbstractRoutingDataSource重写determineCurrentLookupKey()方法，来决定使用那个数据库。在开启事务之前，通过改变lookupKey来达到切换数据源目的。但是这种方法多个数据库之前没办法做事务管理，或许对于主从（读写）数据库会好用一些，而对于需要一个操作中更新多个数据库的情况，使用Atomi...
2016-10-11 20:12:00
136
转载 添加webservice调用日志
之前想用spring的AOP给webservice添加切面的，但是使用around切面后，居然调用端得不到webservice的返回结果，而且报文的详细情况也不得而知，很是尴尬，所以偷了个懒。但是该做的还是要做，不要以后要求查看调用日志的时候，什么都拿不出，不是一个尴尬能搞定的。 我使用的是基于cxf的webservice，所以添加调用日志的方法也是基于cxf的，其次是配合sp...
2016-09-16 10:10:00
726
转载 MySQL、Oracle和SQL Server的分页查询语句
假设当前是第PageNo页，每页有PageSize条记录，现在分别用Mysql、Oracle和SQL Server分页查询student表。1、Mysql的分页查询： 1 SELECT2 *3 FROM4 student5 LIMIT (PageNo - 1) * PageSize,PageSize;理解：(Limit n,m) ...
2016-09-03 12:01:00
138
转载 调戏OpenShift：一个免费能干的云平台(已失效)
一、前因后果 以前为了搞微信的公众号，在新浪sae那里申请了一个服务器，一开始还挺好的 ，有免费的云豆送，但是一直运行应用也要消费云豆，搞得云豆也所剩无几了。作为一名屌丝，日常吃土，就单纯想玩一玩微信的公众号，而且反正也没什么人，花钱开一个阿里云这样的服务器好像有点不值，就想看看有没有免费的平台给我耍耍。 很遗憾在国内几乎没有，却意外发现国外openshift挺适合我...
2016-06-26 23:52:00
154
转载 Spring AOP动态切换数据源
现在稍微复杂一点的项目，一个数据库也可能搞不定，可能还涉及分布式事务什么的，不过由于现在我只是做一个接口集成的项目，所以分布式就先不用了，用Spring AOP来达到切换数据源，查询不同的数据库就可以了。 如果以前的我，可能就1个数据库->1个数据源->1个SessionFactory->1个事务管理，按照这样的逻辑，操作一个数据库是没什么问题的，但是两个甚至...
2016-03-13 12:17:00
171
转载 cxf设置代理访问webservice接口
由于业务上的需要，需要访问第三方提供的webservice接口，但由于公司做了对外访问的限制，不设置代理是不能外网的，如果使用http设置代理访问外网还是比较容易的，但使用cxf有点不知道从哪里入手。网上也有一些零散的信息，现在我整理一下提供参考。1、JaxWsProxyFactoryBean设置代理import org.apache.cxf.configuration....
2016-03-12 11:05:00
580
转载 shiro登陆后没有返回设置的successUrl？
第一次学习shiro的时候，并没有发现很大的问题。但后来在做项目的时候，特别是当访问的url是iframe的页面的时候，session又过期了，跳转到登陆页，完成登陆操作后，返回了只有iframe的页面，相当不好看。虽然在shiro里设置了successUrl，但是没有起作用。 不明真相的我，debug后跟进去观察后发现FormAuthenticationFilter成功登陆后...
2016-02-23 19:57:00
136
转载 poi导出的excel的数字小数位过多？
最近在使用Apache的POI组件对Excel进行操作，在对excel导出的时候，导出的数字本来只有两位小数，得到的结果就变成了很多位小数。如下面的图所示： 虽然对单元格使用了setCellStyle，但还是治标不治本，显示虽然是只显示两位小数了，但是点开还是有很长的一串小数位，这很不爽，这什么原因导致的呢？我们来看看。 我首先debug看一下，在设置单元格的值时候，...
2016-01-20 23:59:00
1048
转载 jsp如何自定义tag的标签库？
虽然和上一次的使用自定义的tld标签简化jsp的繁琐操作的有点不同，但是目的也是一致的。自定义tag比较简单。 1、新建tag标签 在WEB-INF目录下新建一个tags的文件夹，是自定义tag标签的位置。2、编辑标签<%@ tag import="org.apache.shiro.util.StringUtils"%><%@ tag ...
2016-01-02 11:41:00
121
转载 EL表达式怎么获取Map的动态key？
缘由 El表达式在调用Map的时候，后台传过来的Map的key不一定是一个固定的值，需要根据另外一个对象的id作为key来put，或者更加复杂的组合id+"string"作为一个key，对于平常使用开固定的key的我来说，以前学过也忘记了，一时想不出怎么做，现在我们来复习一下。 情景 假设有一个情景：我们后台返回一个对象的list，我们根据对象的id作为key放一些关...
2015-12-19 12:46:00
298
转载 快速上手php：使用PhpStrom调试php
闲话 使用phpStrom的时候居然不打印到控制台，要打印测试的话就要输出到页面，目前我还不知道有什么好办法像jsp一样输出到页面的同时也打印到控制台。这种做法还是比较烦的，特别出问题需要调试的时候。所以我们用phpStrom来调试php。开启php的debug功能设置wamp->php->php-settings,选择(XDebug):Remote deb...
2015-11-25 22:23:00
155
转载 快速上手php：使用PhpStrom部署项目
闲话 上学的时候一直以为可以专注自己的领域，以为与php无缘的，但是这种想法是错误，在完成任务的时候，你不得不使用你不熟悉的语言或者框架。正所谓业务驱动开发，这次接手已经离职的前辈的留下来的项目，最蛋疼的是没有留下文档，实在烦恼，不过幸好项目结构并不算复杂。现在让我们快速开始用PhpStrom编写php吧。安装wamp php有很多编写的工具，之所以用PhpStrom...
2015-11-25 21:55:00
143
转载 使用自定义tld标签简化jsp的繁琐操作
最近做一个树形结构的展示，请求目标页面后，后台只返回简单的List，虽然有想过在jsp页面内做一些操作简化，但是太繁琐了，其他的标签又不能满足需求，所以只能自己做一个。使用tld标签可以简化jsp代码，以后也可以重用代码，所以出于这两个优点，用自定义的tld标签是一个不错的选择。这里只做一个简单例子，将字符串全部变成大写。1、定义tld的类 定义的方法应该是static方法。...
2015-10-23 23:13:00
77
转载 京东购物体验杂谈
缘由 本来很少在京东上买东西的，只有在买数码产品的时候才在京东上买，买其他杂货的时候一般在淘宝上买。由于最近想买一台手提电脑，所以购买的途径就有两个：一个是网上购买，一个是实体店上购买，对于实体店上的奸商，我是战不过的了，所以选择了网上购买。对于京东、苏宁、国美、天猫这几个大的网上商城来说，他们各自有各自的优点，虽然平时喜欢用淘宝买东西，图的就是便宜，但是买数码产品这方面就没有京东...
2015-09-25 22:44:00
126
转载 Mysql将近两个月的记录合并为一行显示
最近做报表统计，用到要求把近两个月的绩效作比较，并作出一些环比数据等。场景：将1班同学的两个月的语文的平均成绩合并到一行比较。CREATETABLE`Chinese_score`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varchar(64)NOTNULL,`score`int(11),`date` ...
2015-09-17 09:19:00
207
转载 学习WebSocket(二):使用Spring WebSocket做一个简单聊天室
聊天室高频率、低延时完全符合websocket的特点，所以聊天室使用websocket再适合不过了。 聊天室的功能并没有比上一节代码多多少，主要在握手阶段对用户的session做处理，对用户的消息进行分发和处理。 握手阶段HandshakeInterceptor需要做的处理 public class HandshakeInterceptor extends Ht...
2015-08-17 21:17:00
72
转载 学习WebSocket(一):Spring WebSocket的简单使用
1、什么是websocket？ WebSocket协议定义了一种web应用的新功能，它实现了服务器端和客户端的全双工通信。全双工通信即通信的双方可以同时发送和接收信息 的信息交互方式。它是继Java applets, XMLHttpRequest, Adobe Flash, ActiveXObject等使web应用更具交互性的新技术。 在实现连线过程中，浏览器和服务器通过...
2015-08-16 10:52:00
115
转载 springMVC的@ResponseBody、@RequestBody使用需要注意的地方
springMVC我觉得比struts2好的其中一个原因就是可以使用注解解析json数据，方便快捷。但是，即使如此，还是有需要注意的地方。1、返回的地方设置@ResponseBody，请求的对象参数@RequestBody，单个参数不用加@RequestBody； @RequestMapping(value="/validation") public @Respo...
2015-08-01 17:29:00
164
转载 如何使用maven建一个web3.0的项目
使用eclipse手动建一个maven的web project可能会有版本不合适的情况，例如使用spring的websocket需要web3.0什么的，不全面的修改可能会出现各种红叉，甚是苦恼。我从我的使用经验出发，从建立一个maven项目开始，记录我用maven建一个web3.0的项目。建立一个maven的web项目1、首先要安装配置好maven，具体怎么配置就不说了。...
2015-06-22 16:26:00
153
转载 springmvc使用RSA算法加密表单
今天被吐槽在客户端用js对密码进行md5加密其实也不见得安全。这种做法其实不见得有什么作用，学过计算机网络都知道，在网上抓一个包是很简单的事，就算别人抓包抓不到你原始密码，用这个md5后的密码一样可以模拟登录系统。这样做无非就是直接通过登录页没法直接输入用户名密码，但用个程序模拟登陆也不是什么太难的事情。以前一直写那么多，一直没有注意，直到今天被吐槽，才发现以前自己的做法是多...
2015-05-20 22:51:00
201
转载 平安科技面试
平安科技500强平安保险的子公司，挺想去的，面试的是深圳的岗位。 1、笔试。到广州体育中心笔试，地点找了几次都找不到，看见一个平安保险的标志就进去了，可是不是笔试地点，地点是中国银行的楼下转进来。到了考试地点等了一下，上去25楼找到一台空电脑坐下来做题，题目是50道各种各样的题，有计算机网络、编译原理、操作系统等，接下来是185道职业测试题，30道智力题，都是限时间完成的。50道...
2015-03-12 00:37:00
248
转载 springMVC数据验证出现404错误解决办法
今天使用springMVC的数据验证的时候，看似很简单的东西，却有一个很大的陷阱：提交空表单的时候总是出现404错误，但是后台却不给你报任何错。遇到这个错误这个很苦恼，搞了几小时，今天记录并分享一下解决经验（本人使用注解式的数据验证）： 错误例子：@RequestMapping(value="/login",method=RequestMethod.POST) ...
2015-03-06 20:01:00
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人