2016年12月_scdxmoe

原创 kafka 安装部署

一、安装zookeeper：http://blog.csdn.net/scdxmoe/article/details/53906025Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz2 tar zxvf zo

2016-12-28 10:33:42 474

原创 zookeeper 安装使用

Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz2 tar zxvf zookeeper-3.3.6.tar.gz3 cd zookeeper-3.3.64 cp conf/zoo_sample.cfg conf/zoo.cfg

2016-12-28 10:08:03 357

转载【Zookeeper系列一】Zookeeper应用介绍与安装部署

https://my.oschina.net/xianggao/blog/531204Zookeeper系列【Zookeeper系列一】Zookeeper应用介绍与安装部署【Zookeeper系列二】ZooKeeper典型应用场景实践【Zookeeper系列三】ZooKeeper Java API使用【Zookeeper系列四】ZooKeeper 分布式锁实现【

2016-12-28 10:07:23 704

转载 Kafka 高性能吞吐揭秘

https://segmentfault.com/a/1190000003985468A high-throughput distributed messaging system.--Apache KafkaKafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分

2016-12-27 16:40:46 628

转载 Kafka文件存储机制那些事

http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apa

2016-12-27 16:26:58 351

转载稀疏索引

http://book.51cto.com/art/201012/238283.htm3.1.3 稀疏索引稀疏索引只为数据文件的每个存储块设一个键-指针对,它比稠密索引节省了更多的存储空间，但查找给定值的记录需更多的时间。只有当数据文件是按照某个查找键排序时，在该查找键上建立的稀疏索引才能被使用，而稠密索引则可以应用在任何的查找键。如图3-3所示，稀疏索引只为每个存储块设一

2016-12-27 16:25:12 4735

转载基于Flume的美团日志收集系统(一)架构和设计

基于Flume的美团日志收集系统(一)架构和设计http://tech.meituan.com/mt-log-system-arch.html美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美

2016-12-27 11:16:43 815

转载数据挖掘十大经典算法(8) kNN: k-nearest neighbor classification

http://blog.csdn.net/aladdina/article/details/4141127邻近算法 KNN算法的决策过程　　k-Nearest Neighbor algorithm 　　右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于

2016-12-26 17:35:38 482

转载轻松看懂机器学习十大常用算法

http://mp.weixin.qq.com/s?__biz=MjM5ODIzNDQ3Mw==&mid=2649966347&idx=1&sn=a3d50df0481982a3d212377780316f01&chksm=beca370d89bdbe1bc381d24b0cb2b40e3c58a8e1a532b3c141986edfcbc204eb24b52d45d25b&scene=0#rd

2016-12-26 17:19:20 725

转载 Programatically understanding dynamic time warping

http://nipunbatra.github.io/2014/07/dtw/So you just recorded yourself saying a word and try to match it against another instance. The signals look similar, but have varying lengths and dif

2016-12-21 17:40:49 550

转载 Python Packeage Install

https://wiki.python.org/moin/CheeseShopTutorial CheeseShopTutorialCheeseShopTutorialFrontPageRecentChangesFindPageHelpContentsCheeseShopTutorialPage

2016-12-21 14:42:32 4255

http://mp.weixin.qq.com/s?src=3&timestamp=1482222651&ver=1&signature=5N0Cdx1JH9TunFAYxxOx04nAbAHd3BZ6qNeGGvnBSNW5q2596SzhhhOBFeANLO-FoJc1vqLbt7GHeSrimYoKz1C90Bm3xKx30fekziaWCKM0QgMfwqiqxWB*dY0pmDrZN7d

2016-12-21 14:30:09 3353 2

转载 Configure Git to sync your fork with the original 同步 Github fork 出来的分支

https://help.github.com/articles/fork-a-repo/ https://help.github.com/articles/syncing-a-fork/Configure Git to sync your fork with the original Spoon-Knife repositoryWhen you fork a

2016-12-21 10:50:59 937

转载 Python 爬虫的工具列表附Github代码下载链接

http://www.36dsj.com/archives/36417这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库（基于pycurl）。pycurl – 网络库（绑定libcurl）。urllib3 – Python HTTP库，安全连接池、支持文件p

2016-12-20 10:13:56 2078

转载最大似然估计(Maximum likelihood estimation)

http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，

2016-12-19 17:41:48 575

转载离群点检测Outlier Detection

http://www.dataivy.cn/blog/%E7%A6%BB%E7%BE%A4%E7%82%B9%E6%A3%80%E6%B5%8Boutlier-detection/在《新奇检测Novelty Detection》我们已经介绍了关于异常检测的基本理论、方法和基于python算法one-class SVM实现其中新奇检测的基本逻辑。本篇介绍异常检测的另外一个主题——

2016-12-19 15:53:39 12852

转载 matplotlib-绘制精美的图表

http://old.sebug.net/paper/books/scipydoc/matplotlib_intro.htmlmatplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且 Gallery页面中有上百幅缩略图，打开之后都有

2016-12-16 17:40:09 724

转载 nginx依据http请求头中的accept-language转发到不同的页面

http://www.55118885.com/w/951529254.htmlnginx根据http请求头中的accept-language转发到不同的页面直接上代码if ($http_accept_language ~* ^zh){set $lang "/index_cn.jsp";}if ($http_accept_language !~* ^

2016-12-16 09:15:06 5456

转载根据头部信息http header控制nginx选择反向代理服务器

http://www.111cn.net/sys/nginx/68133.htm好吧。本来想多写点的，现在没时间，太监了。说下核心：客户端自定义的http header，在nginx的配置文件里能直接读取到。条件：header必须用减号“-”分隔单词，nginx里面会转换为对应的下划线“_”连接的小写单词。nginx配置：代码如下

2016-12-16 09:13:42 7867

转载利用Python进行数据分析——pandas入门(五)(4)

http://www.xuebuyuan.com/2180573.html1、排序和排名根据条件对数据集排序（sorting）也是一种重要的内置运算。要对行或列索引进行排序（按字典顺序），可使用sort_index方法，它将返回一个已排序的新对象：In [80]: obj = pd.Series(range(4), index=['d', 'a', 'b

2016-12-14 16:53:15 2849

转载算术平均、几何平均、调和平均、平方平均和移动平均

http://www.cnblogs.com/liuning8023/p/3525920.html 本文内容算术平均几何平均调和平均平方平均移动平均参考资料算术平均、几何平均、调和平均、平方平均和移动平均跟计算编程有什么关系：Just One Word，不能只会算术平均数，还有其他很多选择，以及不同场景使用不同的平均数。算术平均算术平均（

2016-12-14 09:55:11 2599

转载使用开源软件sentry来收集日志

http://luxuryzh.iteye.com/blog/1980364 对于一个已经上线的系统，存在未知的bug或者运行时发生异常是很常见的事情，随之而来的几点需求产生了： 1、系统发生异常时是否能够通过日志查看到具体原因 2、怎样第一时间扑捉到异常 3、系统都出现了哪些异常 4、哪些异常出现频率高第一点好解决，利用log4j、logback

2016-12-09 15:20:05 3711

转载 Sentry 介绍

https://blog.windrunner.me/tool/sentry.htmlSentry 是一个开源的实时错误报告工具，支持 web 前后端、移动应用以及游戏，支持 Python、OC、Java、Go、Node、Django、RoR 等主流编程语言和框架，还提供了 GitHub、Slack、Trello 等常见开发工具的集成。基本概念Sentry 是什么通常我们

2016-12-09 15:09:50 14778

转载 nginx conf location 配置

http://eyesmore.iteye.com/blog/1141660匹配规则是： 1 先匹配普通location （再匹配正则表达式）。注意：官方文档这句话就明确说了，先普通location ，而不是有些同学的误区“先匹配正则location ” 2 “普通location ”内部（普通location 与普通location ）是如何匹

2016-12-09 14:26:59 767

转载 nginx配置location总结及rewrite规则写法

http://seanlook.com/2015/05/17/nginx-location-rewrite/1. location正则写法一个示例：123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051loc

2016-12-09 14:24:41 284

转载 Nginx关于Rewrite执行顺序详解.docx

http://eyesmore.iteye.com/blog/1142162 Nginx 关于 Rewrite 执行顺序详解第一篇： break 和 last 的区别Rewrite 模块概述REFER: http://wiki.nginx.org/NginxHttpRewriteModule#rewrite If the directives of this

2016-12-09 11:37:52 471

转载 Nginx关于location的匹配规则详解.docx

http://eyesmore.iteye.com/blog/1141660http://iteye.com/eyesmore/有些童鞋的误区1、 location 的匹配顺序是“先匹配正则，再匹配普通”。矫正： location 的匹配顺序其实是“先匹配普通，再匹配正则”。我这么说，大家一定会反驳我，因为按“先匹配普通，再匹配正则”解释不了大家平时习惯的按“先匹配正则，再

2016-12-09 11:11:13 357

转载 Windows下Anaconda的安装和简单使用

http://blog.csdn.net/dq_dm/article/details/47065323Anaconda is a completely free Python distribution (including for commercial use and redistribution). It includes over 195 of the most popular

2016-12-08 11:54:07 1905

原创安装python 以及pip

安装pythontar -xjvf Python-2.7.tar.bz2cd Python-2.7 ./configure --prefix=/usr/local/python-2.7makemake install多版本Python共存，以及pip对应----------------------------------------------

2016-12-08 10:45:28 341

转载多版本Python共存，以及pip对应

http://5404542.blog.51cto.com/5394542/1754606多版本Python共存[支持使用pip安装包] 有时特殊需要会要用到高版本的Python，但是系统自带的版本又是很多其他工具依赖的，不能随意更新。所以就会考虑安装另一个版本的python环境，然后需要用到这个版本时就在脚本头部指明 #/usr/bin/env python2.7 这样。

2016-12-08 10:41:45 6425

原创 pip win10 升级问题

python -m pip install --upgrade pip问题：Collecting pip Using cached pip-9.0.1-py2.py3-none-any.whlInstalling collected packages: pip Found existing installation: pip 8.1.2 Uninstalling

2016-12-07 12:15:55 5971 4

转载 NGINX 1.9.1 新特性：套接字端口共享

NGINX 1.9.1 新特性：套接字端口共享http://io.upyun.com/2015/07/20/nginx-socket-sharding/NGINX 1.9.1 发布版本中引入了一个新的特性 —— 允许套接字端口共享，该特性适用于大部分最新版本的操作系统，其中也包括 DragonFly BSD 和内核 3.9 以后的 Linux 操作系统。套接字端口共享选项允许多

2016-12-06 14:56:48 817

转载 SaltStack使用教程（一）：安装并简单配置使用

http://nginxs.blog.51cto.com/4676810/1698491原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://nginxs.blog.51cto.com/4676810/1698491介绍这个教程是我中秋休息的时候所做，为大家学习了解saltstack。

2016-12-01 09:57:10 4573

转载网络错误定位案例 ICMP host *** unreachable - admin prohibited

该方法解决了 salt minion 链接不上的 master的问题】http://www.cnblogs.com/sammyliu/p/4981194.html网络错误定位案例 ICMP host *** unreachable - admin prohibited1. 环境一台物理服务器 9.115.251.86，上面创建两个虚机，每个虚机两个网卡

2016-12-01 09:53:47 6064

scdxmoe的专栏