Wang_Zhenwei-CSDN博客

转载 ElasticSearch学习30_Elasticsearch索引mapping的写入、查看与修改

mapping的写入与查看首先创建一个索引：curl -XPOST "http://127.0.0.1:9200/productindex"{"acknowledged":true} 1212现在只创建了一个索引，并没有设置mapping，查看一下索引mapping的内容：curl -XGET "http://127.0.0.1:9200/productindex/_m

2017-04-14 20:41:25 819

原创 Logstash学习13_Logstash处理连续空格

在使用Logstash读取文件时，文件中的数据类型如下：zhangsan password zhangsan@qq.com三个字段中间的空格比较多，不知道在filter时，怎样拆分，查找正则表达式的相关资料：\s* 表示若干个空格（可以是0个）；\s+ 表示一个或多个空格；用下面的语句拆分，结果失败： mutate

2017-04-14 18:16:09 4858

原创 Logstash学习12_Got error to send bulk of actions AND Failed to flush outgoing items

Logstash错误：在启动Logstash时，如果配置文件中，输出是ES的话，出现了一些问题，下面寻找原因：在帖子中：https://discuss.elastic.co/t/logstash-error-messages-got-error-to-send-bulk-of-actions-and-failed-to-flush-outgoing-items/24215问题描

2017-04-12 14:42:56 1662

转载 Linux学习42_每天一个linux命令（34）：du 命令

Linux du命令也是查看使用空间的，但是与df命令不同的是Linux du命令是对文件和目录磁盘使用的空间的查看，还是和df命令有一些区别的.1．命令格式：du [选项][文件]2．命令功能：显示每个文件和目录的磁盘使用空间。3．命令参数：-a或-all 显示目录中个别文件的大小。 -b或-bytes 显示目录或文件大小时，以by

2017-04-11 13:20:56 537

转载 Linux学习41_每天一个linux命令（33）：df 命令

linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。1．命令格式：df [选项] [文件]2．命令功能：显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POS

2017-04-11 13:19:53 359

转载 Linux学习40_没有正确安装GNOME电源管理器的默认配置

想想我也没更新系统，也没安装新的软件。这个问题是怎么导致的呢。从网上得知可能是由于磁盘满导致的。故进入命令行准备探个究竟。 1：首先 ctrl + alt + F1 进入控制台引导界面2：选择 kernel /boot/vmlinuz 这一行，然后按 e键3：进入编辑模式后，在最后面空格后添加 single然后回车4：按 b 键启动进入命令行启动模式5：如果需要输入密码则

2017-04-11 10:41:47 5023

转载 Others2_谈谈个人常用的软件

今天中午，无意中逛到知乎，然后看到了这篇文章 Windows 下有什么软件能够极大地提高工作效率？又激发了我写这篇文章的动力，一直以来我觉得我是个不折不扣的爱折腾者，特别是软件，不管手机上还是电脑上，一个软件就能让我折腾一天。。。。甚至有的软件折腾与配置的时间比用这个软件本身的时间还要长。。。所以我感觉我写下这篇文章，像是为自己挖下一个巨坑。。每个软件都可以写个教程什么的，就看我怎么去填了。。

2017-03-31 11:08:02 935

转载 ElasticSearch学习29_基于Elasticsearch实现搜索推荐

在基于Elasticsearch实现搜索建议一文中我们曾经介绍过如何基于Elasticsearch来实现搜索建议，而本文是在此基于上进一步优化搜索体验，在当搜索无结果或结果过少时提供推荐搜索词给用户。背景介绍在根据用户输入和筛选条件进行搜索后，有时返回的是无结果或者结果很少的情况，为了提升用户搜索体验，需要能够给用户推荐一些相关的搜索词，比如用户搜索【迪奥】时没有找到相关的商品，可

2017-03-23 17:25:03 3779

转载图像处理2_读取JPG图片的Exif属性（一） - Exif信息简介

Exif 是什么？Exif就是用来记录拍摄图像时的各种信息：图像信息（厂商，分辨率等），相机拍摄记录（ISO，白平衡，饱和度，锐度等），缩略图（缩略图宽度，高度等），gps（拍摄时的经度，纬度，高度）等，将这些信息按照JPEG文件标准放在图像文件头部。Exchangeable Image File(可交换图像文件)的缩写，最初由日本电子工业发展协会(JEIDA --Ja

2017-03-17 15:32:11 4489

转载图像处理1_开源图片详细信息提取metadata-extractor

网站：https://drewnoakes.com/code/exif/GitHub：https://github.com/drewnoakes/metadata-extractor/参考网站：http://www.programgo.com/article/10671752428/使用版本：[html] view plain copy

2017-03-17 15:30:40 4319 3

原创 JAVA学习46_Java修改文件名，修改结果：文件创建日期

import java.io.File;import java.sql.Date;import java.text.SimpleDateFormat;public class ChangeFileName { public static void main(String[] args) throws Exception { changeFile(new File("E:\

2017-03-09 20:52:54 1817 2

转载 Echarts学习1_ECharts使用心得

ECharts使用心得前言上周项目组要临时给客户做一个演示的原型，首页设计的是一个中国地图，本来打算用谷歌的地图，但是，做出来之后，整体的效果看起来太差了，最后就在网上搜相关的地图呈现的控件，然后就找到了这个ECharts报表呈现组件，挺不错的一个组件，而且地图数据都是离线的，真心很赞。但是，使用起来却颇费了一番工夫。所以就把使用中的一些心得体会跟大家分享一下。1. 插件的下载

2017-03-06 14:51:28 1332

转载 CentOS学习23_CentOS下查看电脑硬件设备属性命令

如何在linux下查看电脑硬件设备属性# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv

2017-02-22 14:32:12 3974

转载 Linux学习39_用linux的命令从多个文件中统计ip的个数

前提：若干个文件如hostsAA_平台.cfg 、 hostsBB_服务.cfg 、 hostsCC_平台.cfg 、 hostsDD_服务.cfg、 hostsXX_平台.cfg，每个文件定义了很多主机数，每个主机配置定义格式如下：define host{ use linux-server host_name AA

2017-02-21 15:58:28 1536

转载 JAVA学习45_51Nod－1489－蜥蜴和地下室

描述题解首先将头尾的两个弓箭手打爆，然后dfs中间的弓箭手即可。这里需要注意，每次往后搜索N+1的条件是，第N-1个弓箭手已经被A死了，但是第N个弓箭手不要求必须死。因为这里数据很小，所以dfs暴力搜索是可以AC的……代码#include using namespace std;const int INF = 0x3f3f3f3f;co

2017-02-21 15:46:51 475

转载 JAVA学习44_leetCode解题报告之Copy List with Random Pointer

题目：A linked list is given such that each node contains an additional random pointer which could point to any node in the list or null.Return a deep copy of the list.分析：我们知道如果是简单的co

2017-02-21 14:48:21 470

转载 Linux学习38_Linux下chkconfig命令详解

chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。使用语法：chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level ][系统服务][on/off/reset]chkconfig在没有参数运行时，显示用法。如果

2017-02-21 14:23:16 122

转载 JAVA学习43_JAVA多线程和并发基础面试题

多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一。在这里，从面试的角度列出了大部分重要的问题，但是你仍然应该牢固的掌握Java多线程基础知识来对应日后碰到的问题。（校对注：非常赞同这个观点）Java多线程面试问题1. 进程和线程之间有什么不同？一个进程是一个独立(self contained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的

2017-02-21 14:16:51 88

转载 JAVA学习42_Java时间日期格式转换

Java时间格式转换大全import java.text.*;import java.util.Calendar;public class VeDate {/** * 获取现在时间 * * @return 返回时间类型 yyyy-MM-dd HH:mm:ss */public static Date getNowDate() { Date current

2017-02-21 14:14:11 551

转载 Hadoop学习9_hadoop常用命令

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文

2017-02-21 13:55:38 298

转载 Hadoop学习8_hadoop入门手册4：Hadoop【2.7.1】初级入门之命令：文件系统shell1

问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处？2.如何改变文件所属组？3.如何改变hdfs的文件权限？4.如何查找hdfs文件，并且不区分大小写？概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File System (HDFS)交互。hadoop也支持其

2017-02-21 13:53:19 333

转载 Hbase学习8_ 启动hbase 报错 Address already in use 的解决办法

master: java.net.BindException: Address already in usemaster: at sun.nio.ch.Net.bind(Native Method)master: at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:1

2017-02-20 13:45:39 870

转载 Hbase学习7_hbase增加backup master

为了增加hbase集群的可用性，可以为hbase增加多个backup master。当master挂掉后，backup master可以自动接管整个hbase的集群。配置backup master的方式是在hbase的conf下增加文件backup-masters，在该文件里面增加backup master的机器列表，每台机器一条记录。如：backup-masters

2017-02-20 12:29:16 1666

转载 Hbase学习6_<hostname>:9000 failed on connection exception: java.net.ConnectException: 拒绝连接

1.首先确保Hadoop相应进程是否开启，通过jps查看是否有namenode进程2.然后通过netstat -nltp|grep 9000查看9000端口是否处于监听状态3.接着通过telnet 远程的主机名 9000查看是否连接成功，如果提示Connection refused则进行第4步4.通过sudo service iptables status查看防火墙是否开启

2017-02-20 12:18:29 5570

原创 JAVA学习41_普通日期转换为Elasticsearch默认ISO8601

import java.text.*;import java.util.Date;public class DateToEs { static SimpleDateFormat dateiso8601 = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"); static SimpleDateFormat date1 = new S

2017-02-17 15:25:49 3110

原创 Logstash学习11_Logstash处理时区、类型转换、删除字段的案例配置

#输入input { file { path => ["文件路径"]#自定义类型 type => "自定义" start_position => "beginning" }}#过滤器filter{#去除换行符mutate{gsub => [ "message", "\r", "" ]

2017-02-17 15:18:30 20138 1

转载 Hbase学习5_开启 hbase 时，slave 上的 HRegionServer 没有启动

1.问题描述我在开启 hbase 时发现 slave 上的 HRegionserver 没有启动，后来查看 log 日志发现如下问题：由上述图片中的信息初步判断是由于 date 时间设置没有与主机同步2.解决方法第一种：使用 date -s “2014-1-4 12:16:00” 在 root 权限下键入时间，使其与主机同步

2017-02-16 15:58:35 1779

转载 CentOS学习22_CentOS 6 时间，时区，设置修改及时间同步

一、时区显示时区date --help 获取帮助date -Rdate +%z上面两个命令都可[plain] view plain copy[root@localhost ~]# date -R; date +%z Fri, 19 Oct 2012 23:34:27 +0800 +0800

2017-02-16 15:56:44 854

转载 Hbase学习4_ 启动hbase 报错 Address already in use 的解决办法

master: java.net.BindException: Address already in usemaster: at sun.nio.ch.Net.bind(Native Method)master: at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:1

2017-02-16 15:32:48 1003

转载 Hbase学习3_HBase1.2.4分布式安装

说明对于HBase与Hadoop版本要选择相对应的（否则会出很多问题），具体对应版本可参考：https://hbase.apache.org/book.html#basic.prerequisites 本次集群对应版本为：Hadoop-2.7.2 + HBase-1.2.0192.168.203.148 Master 192.168.203.149

2017-02-16 15:30:20 1788

转载 BigData学习4_内部攻击实验数据集浅析

杨光+吴钰摘要：获取用户行为数据集是内部威胁研究的前提和基础，该文深度调研了当今公开的内部威胁实验数据集，通过分析KDD99、SEA、WUIL以及CERT-IT四种主流的数据集，提出上述数据集的优缺点，并指出未来数据集构建的研究方向。关键词：内部威胁；网络安全；安全审计中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）21-0055-02

2017-02-14 15:12:53 5382

原创 Logstash学习10_Logstash从Kafka或文件接收数据的配置demo介绍

下面介绍两个Logstash的配置Demo：Demo1：input {kafka { zk_connect => "10.10.16.2:2181,10.10.16.3:2181,10.10.16.4:2181" group_id => "test-consumer-group" topic_id => "MyPattern" reset_beginning => fal

2017-02-13 14:51:18 4050

转载 Logstash学习9_Logstash去除一些字段里面的换行符（\r）

使用mutate+gsub来去除一些字段里面的换行符 Java代码 mutate { gsub => [ "message", "\r", "" ] } 原文来自：http://blog.csdn.net/u010454030/article/details/49680531

2017-02-13 13:43:08 8744 1

转载 Logstash学习8_分布式日志收集之Logstash 笔记（二）

进入正题吧，上篇介绍了Logstash的基础知识和入门demo，本篇介绍几个比较常用的命令和案例通过上篇介绍，我们大体知道了整个logstash处理日志的流程： input => filter => output 除了上面几个基础命令，还有ruby，mutate，gork，codes几个命令比较常用：在线gork正则的地址：http://grokdebug.herok

2017-02-10 16:51:43 1004

转载 Hbase学习2_HBase数据同步到ElasticSearch的方案

ElasticSearch的River机制ElasticSearch自身提供了一个River机制，用于同步数据。这里可以找到官方目前推荐的River：http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/但是官方没有提供HBase的River。其实ES的River非常简单，就

2017-02-08 12:26:53 2985

转载 Metron学习11_Metron with HDP 2.5 bare-metal install

This instruction can be applied both for single and multi-node deployment. It is based on the article: https://community.hortonworks.com/articles/60805/deploying-a-fresh-metron-cluster-using-ambari-se

2017-01-06 21:09:33 1669

转载 ElasticSearch学习28_Elastic中国开发者大会2016介绍

1.Elastic 官方在中国召开的第一次开发者大会2.ElasticStack 5.0 的最新特性介绍，包括 X-Pack 和 Prelert 的初次亮相3.Kibana 创始人第一次来中国分享Kibana5.0最新变化4.Elastic 官方团队的 AMA（ Ask me anything）5.涵盖搜索、日志、安全等主题的业内干货分享时间

2017-01-06 17:50:02 924

转载 Metron学习10_Deploying a fresh Metron cluster via Ambari Management pack

Short Description:This article describes the steps to deploy a fresh HCS/Metron cluster using Ambari Server installed with management packs for Metron.ArticleNote:This article is an ex

2017-01-06 16:01:31 1760

原创 Metron学习9_Apache Metron学习记录

Metron学习记录1 关于Metron1.1 Apache Metron的演变提起Apache Metron，我们必须提到OpenSoc，它的发展历程如下。1.2 Metron的核心功能和功能主题核心功能能力：安全数据库，可插入框架，安全应用程序，威胁只能平台；核心功能主题：平台，数据收集，数据处理，UI；1.3 Metron用户角色及受益点适合6类用户角

2017-01-05 21:00:34 5645 2

转载 Ambari学习19_ssh 公钥认证报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).解决2

在Ambari学习6中，我们介绍了一种解决这个问题的方法，但是，后来又出现了新的问题，经常查找资料，最终找到解决方案：down voteacceptedI encountered the same problem with him.ssh -i root@ I tried this but it wasn't solved.

2016-12-31 14:53:34 5213