- 博客(23)
- 收藏
- 关注
RSS订阅转载 12306 抢票项目霸榜 GitHub，标星即将破万
十一将至，你买到回家的火车票了吗？如果没有，你可以试着打开 GitHub，在搜索栏键入 12306 的关键词，我相信你会发现一个新大陆。没错，这里有 1572 个抢票项目。它们大多用 Python、JavaScript、Java 写成。其中，名为 testerSunshine 12306 的项目，标星甚至即将破万。网友表示亲测好用，再也不用买加速包了。用 Python 抢票在技术...
2019-09-10 11:19:00
351
转载 RabbitMQ教程
RabbitMQ实战教程1.什么是MQ 消息队列（Message Queue，简称MQ），从字面意思上看，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已。 其主要用途：不同进程Process/线程Thread之间通信。为什么会产生消息队列？有几个原因： 不同进程（process）之间传递消息时，两个进程之间耦合程度过高，改动一个进程，引发必须...
2019-09-02 14:58:00
157
转载 Zookeeper配置文档
创建文件夹cd zookeeper-3.4.6mkdir data创建配置文件使用命令vi“conf / zoo.cfg"打开名为 conf / zoo.cfg 的配置文件，并将所有以下参数设置为起点$ vi conf/zoo.cfgtickTime=2000dataDir=/path/to/zookeeper/dataclientPort=2...
2019-09-02 14:22:00
204
转载 Storm ui 说明
Auth：ashaff一、数据上报及展示流程数据上报流程：worer/supervisor/nimbus 会定时上报统计信息到 zk数据展现流程：ui 调用 nimbus 的服务从 zk 中取出数据进行分类聚合汇总，然后展示到前端二、数据类型一、 workerspout：emit：向下游提交 tuple，对应的统计数据为...
2019-09-02 14:21:00
227
转载 Storm 配置文件详解
apache-storm-0.9.5/conf/storm.yamlstorm.yaml配置内容如下：------------------------------------------------------------storm.zookeeper.servers:- "192.168.93.128"- "192.168.93.129"- "192.169.9...
2019-09-02 14:21:00
321
转载 lua-resty-kafka配置文档
参考网址：https://github.com/doujiang24/lua-resty-kafka一、例子content_by_lua ' -- 引入lua所有api local cjson = require "cjson" local producer = require "resty.kafka.prod...
2019-09-02 14:20:00
728
转载 kafka 配置文件详解
author：ashaffkafka的配置分为 broker、producter、consumer三个不同的配置一 broker 的全局配置 最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。----------------------系统相关-----------------------...
2019-09-02 14:19:00
729
转载 Zabbix API 与 PHP 的配置
因为最近线上的Hadoop集群从mrv1升级到mrv2了，监控模板也跟着变动了。线上是200台左右的集群，模块采用了link的方式来添加，即一个模板下link大量的模块，然后主机添加到这个模板里。这样算下来一台机器差不多有 215个item。为了增加NM的监控，也采用了link的方式来连接模板，在页面上link时发现一直返回一个空白页。为了快速上线，改变了下方法，使用了hos...
2019-09-02 14:15:00
306
转载 Storm入门学习随记
推荐慕课网视频：http://www.imooc.com/video/10055另外，关于Storm并发度，已经整理到另一篇博客中，希望对读者有所帮助。请参考：http://www.cnblogs.com/quchunhui/p/8271349.html====Storm的起源。Storm是开源的、分布式、流式计算系统什么是分布式呢？就是将一...
2019-09-02 11:45:00
146
转载 高并发简单解决方案————redis队列缓存+mysql 批量入库(ThinkPhP)
问题分析问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。【批量入库和直接入库性能差异】问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。问题三：日志量毕竟大，保存最近30条足矣，决定用php写个离线统计和清理脚本。一、设计数据库表和存储考虑到log系统对数据库的性能更多...
2019-09-02 11:42:00
130
转载 多个Nginx如何实现集群（没具体方案，只是初步探究）
场景：Nginx+Web服务器可以实现负载均衡，但是一台Nginx也是有限的，如果并非量高的话，在他的上层如何实现负载均衡。 如果是DNS或者CDN的话，建多个机房，势必有多个机房数据同步的问题。 有什么这方面的好的资料吗？解答：这方面的资料，基本都是一块一块不完整的。我大概跟你说一个基本架构：DNS服务器，如果资金充足的话，建议使用BGP机房，2-3台DNS服务器均...
2019-09-02 11:41:00
160
转载 MongoDB状态查询详解：db.serverStatus()
基本信息spock:PRIMARY>db.serverStatus(){ "host" :"h6.corp.yongche.org", //主机名 "version" :"2.6.2", //mongodb版本 "process" :"mongod", //mongodb进程，主要有mongod和mongos(分片集群中)两种 "pid" :...
2019-09-02 11:32:00
973
转载 PHP操作mongoDB 笔记
连接mongo $connection = new MongoClient (); // 连接到 localhost:27017 $connection = new MongoClient ( "mongodb://example.com" ); // 连接到远程服务器 （使用默认端口： 27017） $connection = new MongoC...
2019-09-02 11:20:00
129
转载 ngx_lua 模块
ngx_lua模块的原理：1、每个worker（工作进程）创建一个Lua VM，worker内所有协程共享VM；2、将Nginx I/O原语封装后注入 Lua VM，允许Lua代码直接访问；3、每个外部请求都由一个Lua协程处理，协程之间数据隔离；4、Lua代码调用I/O操作等异步接口时，会挂起当前协程（并保护上下文数据），而不阻塞worker；5、I/O等异步操作完成时还原...
2019-09-02 11:09:00
98
转载 Flume入门教程-简单案例
1.下载安装Java代码 官方网站：http://flume.apache.org/http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gztar-zxvfapache-flume-1.6.0-bin.tar.gz2.修改配...
2019-09-02 11:02:00
141
转载 最简洁的kafka开发实例
问题导读1.如何启动kafka？2.如何通过代码实现生产者例子 ？3.如何通过代码实现消费者例子 ？1.启动kafka。 //启动zookeeper server (用&是为了能退出命令行)： bin/zookeeper-server-start.sh config/zookeeper.properties& /...
2019-09-02 11:00:00
280
转载 Mysql与Redis的同步实践
一、测试环境在Ubuntu kylin 14.04 64bit已经安装Mysql、Redis、php、lib_mysqludf_json.so、Gearman。 点击这里查看测试数据库及表参考 本文也有些基本操作，在之前文章里有介绍。1、安装安装gearman-mysql-udf?1234567...
2019-08-30 17:32:00
96
转载 maven安装及与eclipse集成
maven作为一个项目构建工具，在开发的过程中很受欢迎，可以帮助管理项目中的bao依赖问题，另外它的很多功能都极大的减少了开发的难度，下面来介绍maven的安装及与eclipse的集成。maven的官网地址为：http://maven.apache.org/，打开网页之后，看到最新的版本是3.3.9，从对3.3.9版本的介绍，可以知道3.3以上的版本需要JDK1.7的支持，下面是...
2019-08-30 17:07:00
82
转载 shell脚本操作mysql数据库
使用 mysql -e 参数可以执行各种 sql 的各种操作语句。不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。 格式：mysql -hhostname -Pport -uusername -ppassword -e "" #!/bin/bash HOSTNAME="192.168.111.84"...
2019-08-30 16:59:00
104
转载 python读取日志，存入mysql的代码教程
1、下载 1万条日志记录，保存为一个文件，读取文件并解析日志，从日志中提取ip, time_local, http_method, url, http_status, body_bytes_sent , http_referer, ua字段，以制表符分割。在mysql中创建表，将刚才解析后的结果存入mysql表中。2、在mysql中，使用sql查询出现次数...
2019-08-30 16:55:00
459
转载 PHP实现QQ第三方登录代码
前言：PHP实现QQ快速登录，罗列了三种方法方法一：面向过程，回调地址和首次触发登录写到了一个方法页面【因为有了if做判断】，方法二，三：面向对象1.先调用登录方法，向腾讯发送请求，2.腾讯携带本网站唯一对应参数OPENID,ACCESSTOKEN，返回到对应回调页面，3.回调页面接受到腾讯的参数后，通过这个两个参数，再发出对应的请求，如查询用户的数据。4.腾讯做出对应的...
2019-08-30 16:36:00
217
转载 ETL方法与过程讲解
1 ETL基本概念和术语1.1 ETLExtract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。1.2 DWDataWarehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。1.3 MetaData元数据，就...
2019-08-30 16:22:00
200
转载 php页面传参给shell脚本
代码如下：<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /><title>MAC search</title></head><body alig...
2019-08-30 16:15:00
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人