2016年11月_mergerly

12月 11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Elasticsearch 5.0 —— Head插件部署指南

使用ES的基本都会使用过head，但是版本升级到5.0后，head插件就不好使了。下面就看看如何在5.0中启动Head插件吧！官方粗略教程Running with built in serverenable cors by adding http.cors.enabled: true in elasticsearch configuration. Don’t forge

2016-11-30 19:34:37 3207 1

转载利用nginx向现有网站添加登录验证功能（不添加修改现有网站代码）

在不改变现有网站代码的前提下加入验证功能：1.假设现有网站后端nodejs，端口3000，nginx配置如下 server { listen 80; server_name localhost; location /{ proxy_pass http://localhost:3000;

2016-11-28 17:23:30 2001

转载日志：每个软件工程师应该知道的实时数据的统一抽象概念

我加入LinkedIn大约六年前在一个特别有趣的时间。我们刚开始对我们整体式，集中式数据库的极限跑起来，并开始过渡到专门的分布式系统的组合需要。这是一个有趣的实验：我们构建，部署和运行这一天的分布式图形数据库，分布式搜索的后端，Hadoop的安装，以及第一代和第二代key-value存储。其中最有用的东西，我在这一切的教训是很多的，我们正在构建的事情曾在他们的心脏一个非常简单的概念：日志。

2016-11-24 20:41:11 3974 1

转载 logstash使用grok正则解析日志和kibana遇到的问题

#Nginx日志格式定义log_format combine '$remote_addr - $remote_user [$time_local] "$request" $http_host ' '$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for" ''$up

2016-11-23 20:20:19 11890

转载 JS汉字转拼音，超级实用

/** * 中文字符串转化为拼音 * alert(convertToPinyinLower("你好啊")); */function hash(_key,_value){this.key = _key; // 拼音*/this.value = _value; // ascii码*/} // javascript 的自定义对象，用于存放汉字拼音数据字典*/function dic

2016-11-21 15:49:47 14850 2

转载 python实现RDD转成聚类输入矩阵

//---------------------------- text = sc.textFile("file:///home/mysql1/word_text_new1/part-00000",1).map(lambda x: x.split("\t"))# text.first()//-------------------------------------初始化数据# 提取

2016-11-17 18:52:18 842

转载 Apache Zeppelin设置访问登录

Apache Zeppelin启动默认是匿名（anonymous）模式登录的，也就是任何人都可以访问，这个可以在/zeppelin/conf下的zeppelin-site.xml中看到：zeppelin.anonymous.allowedtrueAnonymous user allowed by defaultdescription中写道Anonym

2016-11-17 10:44:39 7831 1

原创 spark和zeppelin实践二：安装spark和zeppelin

一、Spark安装1、安装spark#http://spark.apache.org/downloads.html#wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgzcd /home/ztgametar zxvf spark-2.0.1-bin-hadoop2.7.tgzln -s /ho

2016-11-16 20:01:35 5707

原创 spark和zeppelin实践一：安装hadoop篇

一、安装JDK1.7 JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载后安装rpm -ivh jdk-8u112-linux-x64.rpm设置JDK环境变量export JAVA_HOME=/usr/java/jdk1.8.

2016-11-16 19:41:57 1186

原创 LogStash实践日志分析二：收集数据、入库、数据分析和kibana展示

1、原始数据源服务器，从日志拉取数据，并转化为utf8编码，增加ip地址，保存到redis中，上配置如下：input { file { path => "/tmp/activityserver.log" codec => json { charset => "GBK" } start_positio

2016-11-16 18:38:55 2549

转载用Redis bitmap统计活跃用户、留存

Spool的开发者博客，描述了Spool利用Redis的bitmaps相关的操作，进行网站活跃用户统计工作。原文：http://blog.getspool.com/2011/11/29/fast-easy-realtime-metrics-using-Redis-bitmaps/　　Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用

2016-11-16 17:05:56 2820

转载 Spark 数据ETL

Spark 数据ETL 说明1、本文翻译自《Machine Learning with Spark》书中第三章第3,4节内容。2、本文一些内容基于http://blog.csdn.NET/u011204847/article/details/51224383。3、大家如果有看不懂的地方可以参考原书（网上可以搜到）。

2016-11-15 14:12:59 1826