- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 php rdkafka 扩展的使用
官方说明地址:https://arnaud-lb.github.io/php-rdkafka/phpdoc/book.rdkafka.html 里面说的很详细不再赘述，包含安装和demo。以下贴出自己的实战代码，以作备忘。生产者代码:（短信、邮件推送到kafka）<?php//kafka消费者$rk = new RdKafka\Producer();$rk->setLo...
2018-12-21 18:05:52
4920
2
原创 MySQL误删除表的内容恢复数据
问题描述: 升级配置文件配置错误，kafka地址指向的是测试环境，同步脚本拉取测试环境数据把线上环境的topic和flume相关信息删除。系统没有全备份但是二进制日志是全的；问题定位:1、mysql没有general log2、查看前一个binlog文件，有删除语句3、 查看是否为程序删除，找到对应语句，通过日志关键字在程序中查找grep /runtime/...
2018-12-12 15:41:06
3925
转载 Java Web开发模式
一 Java Web开发模式的变迁1 最初的Java web服务器端编程技术是Servlet，利用Servlet就可以开发出一个Web应用程序。2 为了解决Servlet缺陷，SUN推出了JSP技术。但是开发人员又走向了另一个极端就是完全放弃了Servlet。 在JSP页面混合使用HTML标记和java代码编写的脚本元素标记来开发Web程序。采用这种方法虽然可以编写JSP页面变得简单，直观，然而...
2018-06-13 18:31:52
304
转载 Python爬虫框架Scrapy实例
目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。一、创建Scrapy项目scrapy startproject Tencent命令执行后，会创建一个Tencent文件夹，结构如下二、编写item文件，根据需要爬取的内容定义爬取字段# -*- coding: utf-8 -*-import
2018-02-07 20:26:14
594
原创 go websocket 群组聊天+基于数据大屏推送技术
参考：http://www.oschina.net/translate/build-a-realtime-chat-server-with-go-and-websockets基于以上的基础上做了自动推送数据部分程序主入口增加定时任务：/** *程序入口 */func main() { //开启一个web scoket server fs := http.FileS
2018-01-30 17:42:11
1233
转载 Laravel API 限速异常 HTTPException Too Many Attemps
Laravel API 限速异常 HTTPException Too Many Attemps更新日期: 2017-10-28 阅读次数: 543 分类: Laravel最近线上 Laravel 错误日志发现了一个异常HTTPException Too Many Attemps而我一个同事在本地开发的过程中也频繁遇到这个异常。测试环境：Laravel 5
2018-01-26 11:04:26
2460
转载 GO 开发rest api 接口
最近在研究Go，打算基于Go做点Web API，于是经过初步调研，打算用Beego这个框架，然后再结合其中提供的ORM以及Swagger的集成，可以快速搭建一个RESTful API的网站。下面是具体做法：1. 在Ubuntu中安装Go 1.8默认Ubuntu apt-get提供的是Go 1.6,而我们要用最新的Go 1.8需要执行以下操作：1.1 添加apt-ge
2018-01-24 14:44:26
8847
原创 nginx 配置 ssl http2.0
http2.0 介绍参考知乎：https://www.zhihu.com/question/34074946编译nginx:在开始我们的任务之前，请先下载 OpenSSL，pcre，Zlib 跟 Nginx源码 ，并且全部解压到同一个目录，假设为 nginx，这时候的代码结构如下：nginx-1.9.14openssl-1.0.2gpcre-8.38zlib-1.2.11进入ng
2018-01-23 18:26:46
761
转载 mysql 触发器 http 请求
mysql表数据发生变化时，主动通知业务系统(mysql-udf-http)近期接到一个任务，在商家的商品信息发生改变后，要及时通知商家的业务系统，并将变更后的数据同步过去。 第一时间想法是，在主系统的商家编辑模块插入对应代码，当商品编辑后，发送商品id至MQ中，子系统消息订阅，并进行相应处理，感觉不错，但是在主系统进行扩展，系统代码会越来越臃肿。 有没有更好的解决方案，比如让
2018-01-19 19:31:26
7314
转载 websocket 聊天机器人
websocket.class.php:<?phpheader("Content-type: text/html; charset=utf-8");/* 创建类websocket($config); $config结构: $config=array( 'address'=>'192.168.0.200',//绑定地址 'port'=>'8000',//绑定端口 'eve
2018-01-19 17:46:42
1312
转载 python 统计词频
import sysreload(sys)sys.setdefaultencoding("utf-8")#import jieba#import jieba.analyse#wf = open("clean_title.txt", "w+")#for line in open('clean_data.csv'):# item = line.strip('\n\r').s
2018-01-18 20:02:42
397
转载 Python 机器学习 K-近邻算法
from numpy import *import operatordef createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group, labelsdef classify0(inX, dataSet, labels, k):
2018-01-18 18:30:43
288
原创 Python 脚本获取ES 存储容量
最近有需求统计ES存储容量，之前用PHP实现的，考虑到以后可能会经常写脚本查询，故用python写了一个脚本，代码如下：import urllibimport urllib2import syses_service_addr = sys.argv[1]url = "http://" + es_service_addr + "/_cat/indices?v";req = urllib2.
2018-01-18 16:36:17
1608
转载 rabbitmq消息队列
安装:RabbitMQ+PHP 消息队列环境配置参考文档：http://www.cnblogs.com/phpinfo/p/4104551...http://blog.csdn.net/historyasamirror/ar...依赖包安装yum install ncurses-devel unixODBC unixODBC-devel
2018-01-11 16:54:21
472
原创 悲观锁&乐观锁
悲观锁（Pessimistic Lock）悲观锁的特点是先获取锁，再进行业务操作，即“悲观”的认为获取锁是非常有可能失败的，因此要先确保获取锁成功再进行业务操作。通常所说的“一锁二查三更新”即指的是使用悲观锁。通常来讲在数据库上的悲观锁需要数据库本身提供支持，即通过常用的select … for update操作来实现悲观锁。当数据库执行select for update时会获取被se
2018-01-11 11:57:20
295
原创 mysql监控 php&&shell 发送电子邮件
项目需要对MySQL的状态及性能进行监控。监控的指标包含是否存活、慢查询数、连接数、内存占用等指标。shell脚本代码如下所示:(没有涉及发送邮件代码，可根据具体需求添加邮件发送代码)watch.sh#!/bin/bashhost=127.0.0.1port=3306user=rootpassword=792a1d086a2bpath=/usr/bin/curFile=./
2018-01-03 18:32:04
1914
转载 SQL 解析
前言： 一直是想知道一条SQL语句是怎么被执行的，它执行的顺序是怎样的，然后查看总结各方资料，就有了下面这一篇博文了。 本文将从MySQL总体架构--->查询执行流程--->语句执行顺序来探讨一下其中的知识。 一、MySQL架构总览： 架构最好看图，再配上必要的说明文字。 下图根据参考书籍中一图为原本，再在其上添加上了自己的理解。
2017-12-15 14:08:16
390
转载 WEB 访问PHP服务器 进程堆积
近日，服务器出现异常，网站不能正常访问。经排查是php的问题。在重启php-fpm时，恢复正常。1分钟之后又出现故障。查看php日志文件 /usr/local/php/var/log 后提示WARNING: [pool www] server reached pm.max_children setting (5), consider raising it子进程数已经达到
2017-12-14 16:03:28
605
原创 PHP 协程
协程，又称微线程，纤程。英文名Coroutine。PHP 官方文档的解释:生成器提供了一种更容易的方法来实现简单的对象迭代，相比较定义类实现 Iterator 接口的方式，性能开销和复杂性大大降低。生成器允许你在 foreach 代码块中写代码来迭代一组数据而不需要在内存中创建一个数组, 那会使你的内存达到上限，或者会占据可观的处理时间。相反，你可以写一个生成器函数，就像一个普通的自定
2017-12-13 16:36:15
407
转载 MYSQL 加载文件内容
SQL:load data infile '/home/test/user.txt' ignore into table users character set utf8 fields terminated by ',' enclosed by '"' lines terminated by '\n' (`id`,`name`,`password`,`introduction`,`identi
2017-11-24 11:35:08
1013
转载 获取请求IP地址
function getIp(){ $ip = $_SERVER['REMOTE_ADDR']; if(isset($_SERVER['HTTP_CDN_SRC_IP'])) { $ip = $_SERVER['HTTP_CDN_SRC_IP']; } elseif (isset($_SERVER['HTTP_CLIENT_IP']) && preg_ma
2017-11-22 18:35:59
254
转载 git中手动删除的文件如何在git中删除
git中手动删除的文件如何在git中删除转载 43878在日常开发中，我们可能或手动删除（delete键删除的）一些文件，然而我们本来应该是用git rm fileName命令删除的，但是现在我们手动删除了，那么要如何在git里面讲那些手动删除的文件删除呢？我们这里有两种方法可以在git中删除那些手动删除（delete键删除的）的文件：
2017-11-16 18:18:05
1193
原创 Thinkphp5.0 session 分布式部署
要实现的功能 :部署高可用web服务项目架构图:在一个集群中部署2套web_server服务，通过lvs负载均衡提供一个虚拟IP,供用户访问。用redis存储session,提高系统可用性。数据库采用主主同步方式，利用keepalived做容灾处理。一、web_server 使用PHP语言，利用TP5.0框架。application\config.php
2017-10-31 15:44:05
2242
转载 nginx 负载均衡
舒润Nginx实战系列之功能篇----后端节点健康检查(转)公司前一段对业务线上的nginx做了整理，重点就是对nginx上负载均衡器的后端节点做健康检查。目前，nginx对后端节点健康检查的方式主要有3种，这里列出： 1、ngx_http_proxy_module 模块和ngx_http_upstream_module模块（
2017-10-27 16:40:02
298
原创 上线经历
作者第一次上线经历。任务描述：线上有俩个系统在运行，api(为第三方提供的接口服务)，server(大数据平台管理系统)。api目前使用了两个数据库db1,db2,server 使用了db2。现需要对两个系统更新，api和erserv共用一个数据库db3。其中db3包含api之前所使用的的db2中的数据表。操作步骤：1、询问同事得知有测试环境，获得测试服务器地址，并在测试环境部署。
2017-05-25 20:40:01
306
转载 跨域访问解决方案
当使用ajax跨域请求时，浏览器报错：XmlHttpRequest error: Origin null is not allowed by Access-Control-Allow-Origin.肯定是跨域的问题，如果用jsonp或者proxy的方式进行修改的话未免需要太大的工程量，所以采用CORS这种比较简单高效的技术。相比JOSP的方式，CORS更为高效。JSONP由于它的原理只能实现GET
2017-03-17 18:35:53
490
转载 CSRF攻击介绍及防御
CSRF攻击介绍及防御转自：http://www.phpddt.com/reprint/csrf.html CSRF概念：CSRF跨站点请求伪造(Cross—Site Request Forgery)，跟XSS攻击一样，存在巨大的危害性，你可以这样来理解： 攻击者盗用了你的身份，以你的名义发送恶意请求，对服务器来说这个请求是完全合法的，但是却完成了攻击
2017-03-17 17:45:50
258
原创 PHP intval() 和 (int) 转换的区别
1、intval & (int) 都不可以转换 Object。2、转换效率 (int) > intval() > sprintf （intval 是PHP内置的方法，效率相对低）。3、其他完全相同。4、输入0123, 0x123 （int）函数也会按八进制和十六进制转换。测试代码：$n="19.99";$example = array( 19, '19',
2017-03-17 14:36:48
10617
原创 监控数据处理
上周做了电商平台活动补贴的数据监控，目的是监控出超卖的活动规则及相关影院、渠道信息。总结如下：1、写一个定时程序每五分钟执行一次。2、sleep(5) 延时五秒执行（避免监控时刻存在补贴数据变动未入库导致可能存在数据丢失）。3、查询补贴数据库是否存在监控时间是当前开始时间的记录，如果存在，则当前时刻执行过数据监控，无需再次监控。4、如果当前开始时间未执行过监控则从原始（电商平台）数
2016-12-07 13:35:55
618
原创 SQL排重
最近实现的一个搜索功能要实现排重，想总结如下：1、我们可以选择将原始数据（包括重复数据）从数据库中读出来然后通过程序进行过滤（不建议）。2、DISTINCT 语句。DISTINCT 必须放在SQL语句的开头。 表结构如下： idnamesexpasstest1Marray1122Marray
2016-12-07 09:56:56
2825
原创 MyISAM和InnoDB区别
今天创建表结构的时候，发现项目中含有InnoDB和MyISAM类型的表，现总结两个引擎的差别如下。1、MyISAM不支持事务，InnoDB支持事务处理。2、MyISAM锁为全表锁，InnoDB支持行级锁，但是InnoDB的行级锁并不是绝对的，当SQL语句不能确定搜索的范围时（UPDATE `user_info` SET `user_desc` = '用户简介' WHERE
2016-12-06 17:47:03
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人