- 博客(60)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 技术入门也能看懂的区块链原理
猜疑、认证与信任中心在谈区块链这一新技术之前，让我们先从一个熟悉的老场景网购开始说起。你花 100 块在网上买了一件衣服，这个寻常的过程中钱先到了中间担保商，待到你确认收货，钱才会打给卖家。中间担保上实际上充当了信任中心和认证权威的角色，不考虑物流的情况下，它做了这么几件事： 验证你这 100 块钱是从你的账户里发出的 验证你这 100 块钱只转给了卖家，而没有同时转给你女朋友 验证你的账户里原来真的有 100 块钱 当然这是一个相对愉快..
2021-11-17 15:35:35
195
原创 linux下ffmpeg安装实现音频拼接
前言：因为需要支持MP3格式，需要提前安装MP3编码库，作者在这里走的弯路，重新编译的ffmpeg1.下载安装MP3编码库因为FFmpeg默认只支持mp3的解码，不支持mp3编码。如果想把提取出来的音频保存为mp3格式肯定就需要mp3格式的编码库。因此，想输出mp3文件，需要借助第三方的mp3编码库。这里采用LAME编码库，即Lame Aint an MP3 Encoder(A high quali
2017-06-23 11:19:41
10098
转载 coreseek分词词表那些事
0. 默认词表coreseek会自带一个分词词表，一般位于/usr/local/mmseg3/etc/uni.lib11对应的明文原始词表一般位于/usr/local/mmseg3/etc/unigram.txt111. 原始词表文件格格式如下：暂无 1x:1喜羊羊 1x:1灰太狼 1x:1懒羊羊 1x:112345678123
2017-06-16 18:16:03
489
原创 coreseek添加mmseg分词
1.编辑词库/usr/local/mmseg3/etc/unigram.txt 按照格式加入你的词2.生成uni/usr/local/mmseg3/bin/mmseg -u /usr/local/mmseg3/etc/unigram.txt 就会生成新的词典文件unigram.txt.uni3.将新的unigram_new.txt.uni 替换原有的uni.libmv /usr/local/mm
2017-06-14 11:38:34
485
原创 使用Haproxy对Sphinx做负载均衡
HAproxy配置关于haproxy配置 这块不做多介绍，运维基本手到擒来，我们要一个vip就可以了sphinx的问题sphinx本身只支持分布式，分布式就会有单点的问题，当请求量过高时开始出现问题。分布式没法横向扩容，没法高可用。所以考虑要做一个负载均衡，那么问题来了，sphinx多台机器没法向mysql那样利用binlog日志同步数据，做负载的话服务器之间数据同步是一个问题，比如A服务器2点轮换
2017-05-25 18:47:29
560
原创 sphinx 分布式搜索出现warning：send() failed : 32: broken pipe,
情况是这样的，我用的是debian系统，coreseek3.2，网站上有四个索引，之前用local设置四个索引，所以搜索时按顺序搜索，有时会出现超时现象，但是用Query（）函数还是能获得一部分结果。但是现在我用两个硬盘分别负载两个索引，分布式索引弄成agent = localhost:9312:index1,index2agent = localhost:9312:index
2017-05-08 18:49:10
1067
转载 cpu load过高问题排查
load average的概念top命令中load average显示的是最近1分钟、5分钟和15分钟的系统平均负载。系统平均负载被定义为在特定时间间隔内运行队列中(在CPU上运行或者等待运行多少进程)的平均进程数。如果一个进程满足以下条件则其就会位于运行队列中：它没有在等待I/O操作的结果它没有主动进入等待状态(也就是没有调用’wait’)没有被停止(例如：等待终止)在Lin
2017-04-24 18:23:32
6007
转载 四层和七层负载均衡的区别
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://virtualadc.blog.51cto.com/3027116/591396负载均衡设备也常被称为"四到七层交换机"，那么四层和七层两者到底区别在哪里？第一，技术原理上的区别。所谓四层负载均衡，也就是主要通过报文中的目标地址和端口，再加上负载均衡设备
2017-04-24 16:12:53
331
转载 haproxy+keepalived实现高可用负载均衡
软件负载均衡一般通过两种方式来实现：基于操作系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操作系统实现的一种软负载，HAProxy就是开源的并且基于第三应用实现的软负载。HAProxy相比LVS的使用要简单很多，功能方面也很丰富。当 前，HAProxy支持两种主要的代理模式:"tcp"也即4层（大多用于邮件服务器、内部协议通信服务器等），和7层（HTTP）。在4层模
2017-04-24 16:03:13
298
转载 http响应Last-Modified和ETag以及Apache和Nginx中的配置
基础知识 1) 什么是”Last-Modified”? 在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是你请求的资源，同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间，格式类似这样： Last-Modified: Fri, 12 May 2006 18:53:33 GMT 客户端第二次请求此URL时，根据 HTTP 协议的
2017-04-21 15:27:50
1197
转载 Linux下四款Web服务器压力测试工具（http_load、webbench、ab、siege）介绍
一、http_load程序非常小，解压后也不到100Khttp_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。还可以测试HTTPS类的网站请求。下载地址：http://soft.vpser.net/test/http_load/http_load-12mar2006.tar.gz
2017-04-13 16:49:20
4627
原创 php 裁剪为任意大小的图像，图像不变形
需开启exif扩展<?php/*exif_imagetype -- 判断一个图像的类型*说明：函数功能是把一个图像裁剪为任意大小的图像，图像不变形* 参数说明：输入 需要处理图片的 文件名，生成新图片的保存文件名，生成新图片的宽，生成新图片的高*/ // 获得任意大小图像，不足地方拉伸，不产生变形，不留下空白set_time_limit(0);//header('Content-Type
2017-03-18 18:05:27
1140
原创 利用redis有序集合实现实时更新阅读排行榜
获取代码： /** * 获取排行榜 */ public function getHotImage($num=6) { //获取redis排行榜有序集合 $hotImageIds = $this->getHotImageIds($num); $ids = implode(',',$hotImageIds);
2017-03-03 19:28:09
1848
原创 sphinx管理shell
#!/bin/sh . /etc/rc.d/init.d/functions log_file="/tmp/sphinx_init.log" appName="Sphinx" argv1=$1argv2=$2 stop(){ /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/$argv2.conf --
2017-03-02 10:35:20
431
转载 sphinx分布式索引简介
sphinx分布式索引原理：当searchd收到一个对分布式索引的查询时，它做如下操作：1. 连接到远程代理2. 执行查询3. （在远程代理执行搜索的同时）对本地索引进行查询4. 接收来自远程代理的搜索结果5. 将所有结果合并，删除重复项6. 将合并后的结果返回给客户端在应用程序看来，普通索引和分布式索引完全没有区别。任一个s
2017-02-13 14:31:22
812
原创 sphinx 分布式索引报错：no enabled local indexes to search
在配置完分布式索引查询后query 警告：no enabled local indexes to search(没有启用本地索引搜索) 查看分布式索引部署9313配置文件里index question2{ source = question2 path = /cnk_data/cnk_search/var2/data/ques
2017-02-09 10:43:41
2172
转载 sphinx –rotate机制详解
今日，发现sphinx出现 sphinx.new.sp*诸多文件。出现这样的情况是因为 searchd没有加载新索引文件。遂Google之，到sphinx官网论坛后得知rotate的机制后方解决！sphinx的searchd在启动时会创建一个 .spl 锁文件，并在关闭时会删除它。在indexer创建索引时如果发现有 .spl文件，则不会创建新索引，因为这时已经标志sphinx正在运行中，
2016-12-15 11:37:05
400
转载 赶集mysql军规
赶集网MySQL开发36军规写在前面的话：总是在灾难发生后，才想起容灾的重要性；总是在吃过亏后，才记得曾经有人提醒过。（一）核心军规（1）不在数据库做运算：cpu计算务必移至业务层（2）控制单表数据量：单表记录控制在1000w（3）控制列数量：字段数控制在20以内（4）平衡范式与冗余：为提高效率牺牲范式设计，冗余数据（5）拒绝3B：拒绝大sq
2016-12-09 19:25:36
264
原创 awk nginx日志分析接口响应时间
awk命令进行nginx日志文件响应时间的分析，分析指写格式的nginx日志文件，打印响应时间并且去除引号，查找响应时间大于1秒的url地址等。awk命令分析nginx响应时间，线上环境nginx日志格式带上了引号，在用awk分析日志时注意下细节。一、nginx日志格式 log_format main ‘$remote_add
2016-11-22 18:58:39
4933
原创 PHP性能测试工具xhprof
1. 编译安装 wget http://pecl.php.net/get/xhprof-0.9.3.tgz tar zxvf xhprof-0.9.2.tgz cd xhprof-0.9.2/extension/ sudo phpize ./configure --with-php-config=/usr/local/php/bin/php-config sudo mak
2016-11-16 13:57:44
1044
原创 sphinx+scws 全文检索使用之在没安装MySQL的服务器上安装Sphinx
linux(CentOS)服务器里，从已经安装mysql的机子上把usr/local/mysql/bin、usr/local/mysql/include、usr/local/mysql/lib目录拷过来然后执行,sphinx编译时需要mysql的相关.h文件 ./configure –prefix=usr/local/sphinx –with-mysql=usr/local/mysql make
2016-09-26 18:00:47
477
原创 sphinx+scws 全文检索使用之 sphinx配置增量索引及sphinx管理命令
写在前面自己业务要做的配置文件，ps.自己也是在一步步摸索。。。配置实例#定义一个数据源source search_main{ #定义数据库类型 type = mysql #定义数据库的IP或者计算机名 sql_host = 192.168.1.201 #定义
2016-09-09 19:24:53
594
原创 sphinx+scws 全文检索使用之 sphinx配置文件详解
写在前面此篇转自http://www.cnblogs.com/yjf512/p/3598332.html， 实际上是对自带sphinx英文注解的翻译。非常全面，收藏到我这里来。 sphinx的配置文件是在配置的时候最容易出错的了：我们先要明白几个概念：source：数据源，数据是从什么地方来的。 index：索引，当有数据源之后，从数据源处构建索引。索引实际上就是相当于一个字典检索。有了整本字典
2016-09-09 19:10:41
777
原创 sphinx+scws 全文检索使用之 安装配置篇
写在前面：公司要做全文索引，调研了一些方案，由于coreseek的官网访问不了，准备使用sphinx+scws方案，安装的原文地址为http://blog.51yip.com/mysql/1659.html，我这里在安装过程中会有写出入，稍微有些改动！评测：一、Coreseek 为国人基于Sphinx开发的方案，目前最稳定版，是基于经典的Sphinx0.9.9版优点：有成熟的文档、以及社区；其分词
2016-09-08 16:58:00
2414
原创 PHP框架优化之-set_include_path函数
顾名思义，set_include_path函数,是用来设置include的路径的。 比如，在正常include时，我需要指定绝对路径：include(ROOT_PATH . 'config/config.php');include(ROOT_PATH . 'lib/pdo.class.php');include(ROOT_PATH . 'global/function.php');如果我们用s
2016-09-02 22:45:20
2044
原创 PHP框架优化-spl_autoload_register()用法和__autoload()
写在前面最近真是忙坏了，在一个框架的基础上增加REDIS的基类以及缓存设计。所以对之前框架进行了一些优化，重新又研究了下一些php基础的函数。这些函数可能在框架中很常用，之前见过N多次，这次就记录下来。有时间的话出一个PHP框架优化系列，关于介绍也是网上找的，挺容易理解，这里复制下。__autoload()的用法就不再说了，以前已经在我的WEB开发笔记中说过。PHP __autoload函数（自动
2016-09-02 22:32:18
2565
原创 libiconv编译出错解决
使用iconv命令将文档的编码进行转换即可。iconv默认情况下，是没有被安装的，下面简单介绍下iconv的安装过程：1. 下载：http://www.gnu.org/software/libiconv/#TOCdownloading2. 安装：下载完成后，切换到下载目录先进行解压：[java] view plain copy
2016-09-02 12:07:51
827
转载 linux CentOS x64 里php源码编译出错参见情况及解决办法
linux CentOS x64 里php源码编译出错参见情况及解决办法configure: error: xml2-config not found. Please check your libxml2 installation.yum install libxml2-devel.x86_64configure: error: Cannot find OpenSSL’s
2016-09-02 01:17:14
1904
原创 Linux搭建SVN 服务器
1 安装SVN官网下载：http://subversion.apache.org/packages.htmlSVN客户端：TortoiseSVN，官网下载：http://tortoisesvn.net/downloads.html# yum install subversion1. 新建一个目录用于存储SVN所有文件# mkdir /svn2.
2016-08-05 15:15:01
218
原创 linux下安装配置jenkins
需要模块：jdk, jenkins, tomcat, phing, php ssh2jdkyum -y install java-1.7.0-openjdk*tomcatcd /opt/modules/downloadwget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-7/v7.0.70/bin/apache-tomcat-7
2016-07-19 20:32:04
1818
原创 nginx配置非80端口访问不了
今天配置一个nginx虚拟主机监听了一个自定义端口8118，重启nginx后在自己电脑浏览器访问连接不上： 查看监听端口： netstat -lnt 返回已监听到8118端口 考虑是防火墙原因，就去查看防火墙状态： /etc/init.d/iptables status 但是什么也没输出，接着我停掉防火墙/etc/init.d/iptables stop自己电脑依然访问不到，然后我在本机
2016-07-18 21:30:36
21326
2
原创 切莫让CDN缓存你的动态文件
是这样的：我们这里有一个域名上了CDN，本来是缓存一些IMG和JS等一些静态资源的。但是因为业务需求，我们新添加了一个动态php文件做接口来接受一些用户的反馈内容。 然后今天在这个接口在线上出了一点小问题我要去调试发现，我改完代码后刷新竟然不起作用，但是我的链接改动参数就代码就起作用，当时我怀疑这个链接是被CDN缓存了，但是运维告诉我CDN不会缓存动态内文件。然后我去测试看nginx日志刷新网页确
2016-07-08 21:32:19
7921
转载 Linux下同步工具inotify+rsync使用详解
1. rsync1.1 什么是rsyncrsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。它使用所谓的“Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。所以通常可以作为备份工具来使用。运行Rsync server的机器也叫backup server，一个Rsyn
2016-07-06 19:38:48
449
转载 CDN缓存那些事
CDN是什么？谈到CDN的作用，可以用8年买火车票的经历来形象比喻：8年前，还没有火车票代售点一说，12306.cn更是无从说起。那时候火车票还只能在火车站的售票大厅购买，而我所住的小县城并不通火车，火车票都要去市里的火车站购买，而从县城到市里，来回就是4个小时车程，简直就是浪费生命。后来就好了，小县城里出现了火车票代售点，可以直接在代售点购买火车，方便了不少，全市
2016-07-06 16:58:50
499
1
原创 使用php调用shell脚本同步文件
当你在上传文件的时候需要同步到另外机器的时候，可以执行shell脚本实现文件同步#! /bin/basha=$1b=$2ip=$3port=$4passwd=$5/bin/rpm -qa|/bin/grep -q expectif [ $? -ne 0 ];then echo "please install expect" exitfiif [ $#
2016-07-05 19:59:42
1318
原创 如何解决nginx上传大文件的限制？
通过设置nginx的client_max_body_size解决nginx+php上传大文件的问题：用nginx来做webserver的时，上传大文件时需要特别注意client_max_body_size这个参数,否则会中断在nginx的请求中,在php中是无法记录到访问的.一般上传大文件流程：首先修改php.ini文件： 1.file_uploads on 是否允许通过HTTP上传文件的开关。默
2016-06-29 16:46:15
9275
原创 Nginx反向代理和负载均衡
1.反向代理概念(1).正向代理的概念 正向代理，也就是传说中的代理,他的工作原理就像一个跳板，简单的说，我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器呢，他能访问那个我不能访问的网站，于是我先连上代理服务器，告诉他我需要那个无法访问网站的内容，代理服务器去取回来，然后返回给我。从网站的角度，只在代理服务器来取内容的时候有一次记录，有时候并不知道是用户的请
2016-06-27 22:06:47
5639
转载 LAMP+NFS实现多个web服务器静态资源统一存储
1.前端需支持更大的访问量，单台Web服务器已无法满足需求了，则需扩容Web服务器；2.虽然动态内容可交由后端的PHP服务器执行，但静态页面还需要Web服务器自己解析，那是否意味着多台Web服务器都需要在各自的系统中都存有一份静态页面数据呢？ 其实这样也不是不可以，毕竟文件本地访问，速度还是有优势的，但这却涉及到多台Web服务器间内容的一致性问题，这种问题也不可避免；
2016-06-22 20:48:54
5136
1
原创 利用SVN log命令统计SVN提交代码
题记大家在开发中经常会碰到提交SVN代码时的审核问题，例如：你从3月25号到4月1号开发了一个需求，此时你要上线的话，需从svn日志里筛选出你提交过的文件(全局同步除外)，然后确认文件是否被其他同事提交过，这里你首先需要对你提交文件去重，然后再单独看每个文件的svn日志信息有无被其他账户提交过。这里，我们可以利用php的shell执行svn log命令来一步完成如上操作（或者其他语言都可以）。开发
2016-04-05 19:49:59
1321
转载 我读过最好的Epoll模型讲解
首先我们来定义流的概念，一个流可以是文件，socket，pipe等等可以进行I/O操作的内核对象。不管是文件，还是套接字，还是管道，我们都可以把他们看作流。之后我们来讨论I/O的操作，通过read，我们可以从流中读入数据；通过write，我们可以往流写入数据。现在假定一个情形，我们需要从流中读数据，但是流中还没有数据，（典型的例子为，客户端要从socket读如数据，但是服务器还没有把数据传回来），这
2016-02-01 17:15:23
323
PHP核心技术与最佳实践
2015-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人