- 博客(33)
- 收藏
- 关注
转载 SVN服务器创建版本库后的配置文件
假设有一个SVN版本库名字叫doc创建好后,应该修改conf下三个文件内容如下。 svnserve.conf: [general] anon-access=read auth-access=write password-db=passwd authz-db=authz pa...
2018-04-19 14:25:00
292
转载 使用Sonar扫描工程的代码
1、安装sonar所需的数据库表 CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci; 设置账号sonar,密码sonar GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED...
2018-03-26 20:07:00
621
转载 Centos服务器中多版本Python带来的困惑问题
最近写了几个在crond中使用的python定时执行脚本。其中使用了datetime包中的timedelta的total_seconds()方法。配置定时执行的方式也很简单,就写成了 */5 * * * * root python abc.py 写好后,发现定时执行的脚本每次执行都会报错,...
2018-03-19 10:52:00
311
转载 学习下Python的sklearn包做分类
写了一个简单的多类分类程序,给定一个数据集,在其上做10-fold交叉检验,输出loss,以及分类的结果。 最关键的函数是def do_cross_validation(dict_feature_list, y_list, num_features, num_fold, clf)。各个参数的...
2016-08-26 22:59:00
285
转载 MySQL主从同步错误情况下的全量备份恢复
一个Web系统有一主两从的小型MySQL集群,通过Amoeba调度。近日发现主从之间的同步发生异常,从库无法更新数据。试了多种方法无法恢复后,决定重新建立从库数据。方法如下。 假设主库为server1,两个从库为server2和server3 主库server1的IP地址是192.168....
2016-07-15 15:19:00
185
转载 Logstash收集Tomcat集群日志的解决方案
场景描述:一个Web应用,前端设置了8个具有相同配置的Tomcat服务器,跑在Nginx反向代理后。每个Tomcat服务器运行在一个虚拟机上,要求能对Tomcat服务器的访问日志汇总存储并提供一定的分析能力。 需要的开源软件:Logstash和Elasticsearch。通过在各个虚拟机上安...
2016-05-30 21:21:00
886
转载 Python监视MySQL正在运行的SQL
下面是代码片段,写得比较简陋,基本想法就是使用os.popen方法执行一段命令脚本mysql -uroot -padmin -e "show full processlist;"(不太好的一点是这里写了root用户的密码,比较危险),然后逐行扫描,将带有SQL关键字的行,写入文本文件,文本文件...
2016-05-19 16:56:00
141
转载 Redis 集群常见错误和处理方法收集(持续更新)
1、Too many redirections 解决: 1)查看创建集群时,不要使用127.0.01这种地址,使用实际地址。 2)new JedisCluster(jedisClusterNodes(jedisClusterNodes, timeout, maxredirection)时...
2016-03-24 16:06:00
294
转载 Elasticsearch集群的搭建的参数配置
假设集群有三个节点192.168.1.4,192.168.1.5,192.168.1.6, 以192.168.1.4为例子 1、安装Elasticsearch 强烈推荐直接从官方网站下载最新版本的rpm包,能省去很多事! 下载elasticsearch插件head包,解压缩到/usr/...
2016-03-24 11:02:00
329
转载 Redis集群的搭建
1、安装Redis 下载文件http://download.redis.io/releases/redis-3.0.7.tar.gz 解压redis,tar xzvf redis-3.0.7.tar.gz 编译再安装 make ; make install 安装完毕后,用命令redi...
2016-03-21 23:37:00
76
转载 Elasticsearch的Java API的Cookbook
1、查询索引的数据量 CountResponseresponse=client.prepareCount(indexname) .setQuery(QueryBuilders.matchAllQuery()).setTypes(indextype) ...
2016-03-15 14:49:00
92
转载 Windows 7 64位安装Theano数值包
1、下载安装Anaconda,假设安装到D盘 2、控制台执行命令conda install mingw libpython,下载安装mingw库 3、控制台执行命令pip install theano,下载安装Theano 4、设置环境变量 在系统环境变量的path,添加值 D:\A...
2016-03-09 21:26:00
76
转载 CentOS 一些常见问题的处理办法汇总
yum install 软件 显示404错误修改源,最简单的方法就是直接换一个国内的源,比如阿里的,参加这个网址操作修改yum的源即可。http://mirrors.aliyun.com/help/centos centos虚拟机不能上网强烈建议从最幼稚、最简单的错误查起,不要盲目地...
2016-01-16 21:57:00
186
转载 Elasticsearch使用Python API做bulk insert的另一种方法
以前写过一个bulk insert,这次又查了下资料,看到另一种做法,说bulk里保存的是一段JSON数据序列,按照<操作><数据><操作><数据><操作><数据>...的格式保存的。感觉比较古怪,自己写了一段python...
2016-01-12 15:50:00
576
转载 解决Elasticsearch NoRouteToHostException
假设Elasticsearch运行在192.168.0.2修改config目录下的elasticsearch.yml 改动如下内容 network.bind_host: 192.168.0.2 network.publish_host: 192.168.0.2 network.host...
2016-01-12 15:42:00
778
转载 Python读取Redis数据导出到Elasticsearch
#!usr/bin/python#-*-coding:utf-8-*-importredisimportdatetimefromelasticsearchimportElasticsearchfromelasticsearch.helpersimportbul...
2015-12-29 20:40:00
111
转载 Elasticsearch搜索API使用二:常用聚集查询的写法
1、找出每天的独立IP访问来源 使用nested aggregation,在一个date histogram aggregation做按照天分组后,再对每天的结果用cardinality aggregation计数 POST/access/search/_search{"si...
2015-09-19 14:46:00
88
转载 Elasticsearch搜索API使用一:创建索引并指定索引类型的mapping
ES默认是动态创建索引和索引类型的mapping的。这就相当于无需定义Solr中的Schema,无需指定各个字段的索引规则就可以索引文件,很方便。但有时方便就代表着不灵活。比如,ES默认一个字段是要做分词的,但我们有时要搜索匹配整个字段却不行。如有统计工作要记录每个城市出现的次数。对于NAME...
2015-09-18 22:03:00
1128
转载 Redis+Logstash+Elasticsearch+Kibana多Redis日志数据流
本文描述了一个简单的case,讲解怎么在logstash进行配置,将多个日志数据流,通过redis缓存接收,再导出到elasticsearch多个索引,即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存,两组日志标记其类型为redis-data-A和redis-dat...
2015-09-05 20:03:00
183
转载 MySQL排名SQL语句写法
通常在使用MySQL时,会碰到根据多个排名条件计算一组数据的排名情况,条件相同的则排名一致。 假设有表table,两个条件字段conditionA降序排序和conditionB升序排序,条件相同排名一致,排名信息保存在dense_rank字段。 做法:定义@conditionA,@con...
2015-09-01 09:04:00
559
转载 Solr 高亮源码阅读
Solr高亮使用了很多Lucene的源码,在Lucene源码org.apache.lucene.search.highlight包的Highlighter.java里的方法: public final TextFragment[] getBestTextFragments( Tok...
2015-08-26 22:19:00
123
转载 Solr删除文档
1、编写deldocs.xml文件,内容为 <delete><id>1</id></delete> 2、执行命令java -Durl=http://localhost:8983/solr/ABC/update-jar post.jar de...
2015-08-18 17:37:00
200
转载 Host XXX is blocked because of many connection 问题
不知道为什么,我设置的Solr 数据import工具,每运行一段时间后,就无法连接数据库导入数据。经检查说是报错:ERROR 1129 (00000): Host ‘XXXXXX’ is blocked because of many connection errors; unblock wi...
2015-08-18 15:58:00
85
转载 Elasticsearch high disk watermark 问题
今天发现logstash没有任何数据写入elasticsearch,检查logs,发现报错high disk watermark [10%] exceeded on [asfasdf112xzvdx][flag=smasher] free:2.8gb[9.2%], shards will be...
2015-08-17 16:43:00
1154
转载 CentOS 开发环境安装配置整理
关闭防火墙 service iptables stop chkconfig iptables off 1、安装Java 去oracle网站下载最新的rpm包 使用命令rpm -ivh rpm包名安装 使用命令alternatives --config java 选择新安装的o...
2015-07-08 19:26:00
81
转载 Redis简单数据恢复
本文只考虑APPEND ONLY MODE关闭的数据备份恢复问题,即在配置文件中appendonly no。 Redis的默认配置中关于备份快照SNAPSHOT的规则是: save 900 1 save 300 10 save 60 10000 含义是,比如第一条,在900秒后至少一...
2015-07-01 15:48:00
76
转载 SSH配置无密码登陆
步骤1: 用 ssh-key-gen 在本地主机上创建公钥和密钥 root@localhost$ ssh-keygen -t rsa Enter file in which to save the key (/home/jsmith/.ssh/id_rsa):[Enter key] ...
2015-05-21 17:26:00
50
转载 Redis统计一个用户在一段时间内的登录次数
我使用redis的setbit和bitcount来进行这个操作。需要注意的是setbit修改的是bit位置,而bitcount检查的是byte位置,两者相差有8的倍数。伪代码如下 //计算两个日期之间的差值longdaysBetween(Datedate1,Datedate2)...
2015-04-17 15:21:00
3217
转载 Redis+Logstash+Elasticsearch配置笔记
1、 开机自动启动Redis 1),拷贝redis目录utils下的redis_init_script文件到/etc/init.d,并将其重命名为redisd,再运行chmod u+x redisd 2),修改redis根目录下的redis.conf,将daemonize修改为yes,将p...
2015-04-10 09:48:00
98
转载 解决Solr增量导入MySQL数据的问题
步骤一:在solrconfig.xml中插入一个新的requestHandler,增加如下几行 <requestHandlername="/dataimportcommentdelta"class="org.apache.solr.handler.dataimport.Dat...
2014-11-19 10:34:00
196
转载 Solr配置导入MySQL数据
1. 编写配置文件 1)编写data-config-comment.xml,此文件用于描述如何查询MySQL数据,如何将数据变换导入索引。 假设有一个数据库叫mooc,其中有个表叫comment,代表学生的评论 其中: entity对应MySQL数据库表中的一行 query对...
2014-11-12 10:48:00
105
转载 Solr4.10和ANSJ 中文分词集成
1. 具体代码 1.1ANSJTokenizerFactory 工厂类 packageorg.ansj.solr;importorg.apache.lucene.analysis.util.TokenizerFactory;importorg.apache.lucene.u...
2014-11-07 17:15:00
141
转载 简单的Linux定时备份数据
第一步:写出任务脚本/root/sh_cmd.sh,比如“每天定时压缩备份一个数据库A的表格B” #!/bin/sh#createdatedirectoryDate=`date+%Y%m%d`mkdir/root/tmp/$Date#dumpdatabasetable...
2014-11-07 15:13:00
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人