- 博客(33)
- 收藏
- 关注
RSS订阅转载 SVN服务器创建版本库后的配置文件
假设有一个SVN版本库名字叫doc创建好后，应该修改conf下三个文件内容如下。 svnserve.conf: [general] anon-access=read auth-access=write password-db=passwd authz-db=authz pa...
2018-04-19 14:25:00
288
转载 使用Sonar扫描工程的代码
1、安装sonar所需的数据库表 CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci; 设置账号sonar，密码sonar GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED...
2018-03-26 20:07:00
615
转载 Centos服务器中多版本Python带来的困惑问题
最近写了几个在crond中使用的python定时执行脚本。其中使用了datetime包中的timedelta的total_seconds()方法。配置定时执行的方式也很简单，就写成了 */5 * * * * root python abc.py 写好后，发现定时执行的脚本每次执行都会报错，...
2018-03-19 10:52:00
306
转载 学习下Python的sklearn包做分类
写了一个简单的多类分类程序，给定一个数据集，在其上做10-fold交叉检验，输出loss，以及分类的结果。 最关键的函数是def do_cross_validation(dict_feature_list, y_list, num_features, num_fold, clf)。各个参数的...
2016-08-26 22:59:00
280
转载 MySQL主从同步错误情况下的全量备份恢复
一个Web系统有一主两从的小型MySQL集群，通过Amoeba调度。近日发现主从之间的同步发生异常，从库无法更新数据。试了多种方法无法恢复后，决定重新建立从库数据。方法如下。 假设主库为server1，两个从库为server2和server3 主库server1的IP地址是192.168....
2016-07-15 15:19:00
175
转载 Logstash收集Tomcat集群日志的解决方案
场景描述：一个Web应用，前端设置了8个具有相同配置的Tomcat服务器，跑在Nginx反向代理后。每个Tomcat服务器运行在一个虚拟机上，要求能对Tomcat服务器的访问日志汇总存储并提供一定的分析能力。 需要的开源软件：Logstash和Elasticsearch。通过在各个虚拟机上安...
2016-05-30 21:21:00
866
转载 Python监视MySQL正在运行的SQL
下面是代码片段，写得比较简陋，基本想法就是使用os.popen方法执行一段命令脚本mysql -uroot -padmin -e "show full processlist;"（不太好的一点是这里写了root用户的密码，比较危险），然后逐行扫描，将带有SQL关键字的行，写入文本文件，文本文件...
2016-05-19 16:56:00
131
转载 Redis 集群常见错误和处理方法收集（持续更新）
1、Too many redirections 解决： 1）查看创建集群时，不要使用127.0.01这种地址，使用实际地址。 2）new JedisCluster(jedisClusterNodes(jedisClusterNodes, timeout, maxredirection)时...
2016-03-24 16:06:00
286
转载 Elasticsearch集群的搭建的参数配置
假设集群有三个节点192.168.1.4,192.168.1.5,192.168.1.6, 以192.168.1.4为例子 1、安装Elasticsearch 强烈推荐直接从官方网站下载最新版本的rpm包，能省去很多事！ 下载elasticsearch插件head包，解压缩到/usr/...
2016-03-24 11:02:00
322
转载 Redis集群的搭建
1、安装Redis 下载文件http://download.redis.io/releases/redis-3.0.7.tar.gz 解压redis，tar xzvf redis-3.0.7.tar.gz 编译再安装 make ; make install 安装完毕后，用命令redi...
2016-03-21 23:37:00
70
转载 Elasticsearch的Java API的Cookbook
1、查询索引的数据量 CountResponseresponse=client.prepareCount(indexname) .setQuery(QueryBuilders.matchAllQuery()).setTypes(indextype) ...
2016-03-15 14:49:00
81
转载 Windows 7 64位安装Theano数值包
1、下载安装Anaconda，假设安装到D盘 2、控制台执行命令conda install mingw libpython，下载安装mingw库 3、控制台执行命令pip install theano，下载安装Theano 4、设置环境变量 在系统环境变量的path，添加值 D:\A...
2016-03-09 21:26:00
68
转载 CentOS 一些常见问题的处理办法汇总
yum install 软件 显示404错误修改源，最简单的方法就是直接换一个国内的源，比如阿里的，参加这个网址操作修改yum的源即可。http://mirrors.aliyun.com/help/centos centos虚拟机不能上网强烈建议从最幼稚、最简单的错误查起，不要盲目地...
2016-01-16 21:57:00
178
转载 Elasticsearch使用Python API做bulk insert的另一种方法
以前写过一个bulk insert，这次又查了下资料，看到另一种做法，说bulk里保存的是一段JSON数据序列，按照<操作><数据><操作><数据><操作><数据>...的格式保存的。感觉比较古怪，自己写了一段python...
2016-01-12 15:50:00
561
转载 解决Elasticsearch NoRouteToHostException
假设Elasticsearch运行在192.168.0.2修改config目录下的elasticsearch.yml 改动如下内容 network.bind_host: 192.168.0.2 network.publish_host: 192.168.0.2 network.host...
2016-01-12 15:42:00
727
转载 Python读取Redis数据导出到Elasticsearch
#!usr/bin/python#-*-coding:utf-8-*-importredisimportdatetimefromelasticsearchimportElasticsearchfromelasticsearch.helpersimportbul...
2015-12-29 20:40:00
103
转载 Elasticsearch搜索API使用二：常用聚集查询的写法
1、找出每天的独立IP访问来源 使用nested aggregation，在一个date histogram aggregation做按照天分组后，再对每天的结果用cardinality aggregation计数 POST/access/search/_search{"si...
2015-09-19 14:46:00
82
转载 Elasticsearch搜索API使用一：创建索引并指定索引类型的mapping
ES默认是动态创建索引和索引类型的mapping的。这就相当于无需定义Solr中的Schema，无需指定各个字段的索引规则就可以索引文件，很方便。但有时方便就代表着不灵活。比如，ES默认一个字段是要做分词的，但我们有时要搜索匹配整个字段却不行。如有统计工作要记录每个城市出现的次数。对于NAME...
2015-09-18 22:03:00
1116
转载 Redis+Logstash+Elasticsearch+Kibana多Redis日志数据流
本文描述了一个简单的case，讲解怎么在logstash进行配置，将多个日志数据流，通过redis缓存接收，再导出到elasticsearch多个索引，即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存，两组日志标记其类型为redis-data-A和redis-dat...
2015-09-05 20:03:00
173
转载 MySQL排名SQL语句写法
通常在使用MySQL时，会碰到根据多个排名条件计算一组数据的排名情况，条件相同的则排名一致。 假设有表table，两个条件字段conditionA降序排序和conditionB升序排序，条件相同排名一致，排名信息保存在dense_rank字段。 做法：定义@conditionA，@con...
2015-09-01 09:04:00
550
转载 Solr 高亮源码阅读
Solr高亮使用了很多Lucene的源码，在Lucene源码org.apache.lucene.search.highlight包的Highlighter.java里的方法： public final TextFragment[] getBestTextFragments( Tok...
2015-08-26 22:19:00
109
转载 Solr删除文档
1、编写deldocs.xml文件，内容为 <delete><id>1</id></delete> 2、执行命令java -Durl=http://localhost:8983/solr/ABC/update-jar post.jar de...
2015-08-18 17:37:00
185
转载 Host XXX is blocked because of many connection 问题
不知道为什么，我设置的Solr 数据import工具，每运行一段时间后，就无法连接数据库导入数据。经检查说是报错：ERROR 1129 (00000): Host ‘XXXXXX’ is blocked because of many connection errors; unblock wi...
2015-08-18 15:58:00
79
转载 Elasticsearch high disk watermark 问题
今天发现logstash没有任何数据写入elasticsearch，检查logs，发现报错high disk watermark [10%] exceeded on [asfasdf112xzvdx][flag=smasher] free:2.8gb[9.2%], shards will be...
2015-08-17 16:43:00
1129
转载 CentOS 开发环境安装配置整理
关闭防火墙 service iptables stop chkconfig iptables off 1、安装Java 去oracle网站下载最新的rpm包 使用命令rpm -ivh rpm包名安装 使用命令alternatives --config java 选择新安装的o...
2015-07-08 19:26:00
70
转载 Redis简单数据恢复
本文只考虑APPEND ONLY MODE关闭的数据备份恢复问题，即在配置文件中appendonly no。 Redis的默认配置中关于备份快照SNAPSHOT的规则是： save 900 1 save 300 10 save 60 10000 含义是，比如第一条，在900秒后至少一...
2015-07-01 15:48:00
64
转载 SSH配置无密码登陆
步骤1: 用 ssh-key-gen 在本地主机上创建公钥和密钥 root@localhost$ ssh-keygen -t rsa Enter file in which to save the key (/home/jsmith/.ssh/id_rsa):[Enter key] ...
2015-05-21 17:26:00
41
转载 Redis统计一个用户在一段时间内的登录次数
我使用redis的setbit和bitcount来进行这个操作。需要注意的是setbit修改的是bit位置，而bitcount检查的是byte位置，两者相差有8的倍数。伪代码如下 //计算两个日期之间的差值longdaysBetween(Datedate1,Datedate2)...
2015-04-17 15:21:00
3191
转载 Redis+Logstash+Elasticsearch配置笔记
1、 开机自动启动Redis 1)，拷贝redis目录utils下的redis_init_script文件到/etc/init.d，并将其重命名为redisd，再运行chmod u+x redisd 2)，修改redis根目录下的redis.conf，将daemonize修改为yes，将p...
2015-04-10 09:48:00
83
转载 解决Solr增量导入MySQL数据的问题
步骤一：在solrconfig.xml中插入一个新的requestHandler，增加如下几行 <requestHandlername="/dataimportcommentdelta"class="org.apache.solr.handler.dataimport.Dat...
2014-11-19 10:34:00
188
转载 Solr配置导入MySQL数据
1. 编写配置文件 1）编写data-config-comment.xml，此文件用于描述如何查询MySQL数据，如何将数据变换导入索引。 假设有一个数据库叫mooc，其中有个表叫comment，代表学生的评论 其中： entity对应MySQL数据库表中的一行 query对...
2014-11-12 10:48:00
97
转载 Solr4.10和ANSJ 中文分词集成
1. 具体代码 1.1ANSJTokenizerFactory 工厂类 packageorg.ansj.solr;importorg.apache.lucene.analysis.util.TokenizerFactory;importorg.apache.lucene.u...
2014-11-07 17:15:00
132
转载 简单的Linux定时备份数据
第一步：写出任务脚本/root/sh_cmd.sh，比如“每天定时压缩备份一个数据库A的表格B” #!/bin/sh#createdatedirectoryDate=`date+%Y%m%d`mkdir/root/tmp/$Date#dumpdatabasetable...
2014-11-07 15:13:00
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人