Wang_Zhenwei-CSDN博客

转载 ElasticSearch学习27_Elasticsearch启动时 unable to install syscall filter 问题说明

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CON

2016-12-21 15:04:39 16165

转载 ElasticSearch学习26_【入门】安装Elasticsearch5.0 部署Head插件

部署5.0版本的ES5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。设置内核参数vi /etc/sysctl.conf# 增加下面的内容fs.file-max=65536vm.max_map_count=262144设置资源参数vi /etc/security/limits.conf# 修改* so

2016-12-21 11:01:34 939

转载 ElasticSearch学习25_ elasticsearch5.0 安装流程

#elasticsearch安装流程# by coco# 2016-11-091. 下载：官网地址：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.0.tar.gzhttps://www.elastic.co/guide/en/elasticsearc

2016-12-21 10:40:08 563

转载 ElasticSearch学习24_elasticsearch2.3 以root用户启动

如果以root身份运行将会出现以下问题root@yxjay:/opt/elasticsearch-2.3.5/bin# ./elasticsearchException in thread "main" Java.lang.RuntimeException: don't run elasticsearch as root.at org.elasticsearch.bootstr

2016-12-19 17:39:34 2349

转载 ElasticSearch学习23_CENTOS安装ElasticSearch中don't run elasticsearch as root

CENTOS安装ElasticSearchElasticSearch 概述ElasticSearch是一个高可扩展的开源的全文搜索分析引擎。它允许你快速的存储、搜索和分析大量数据。ElasticSearch通常作为后端程序，为需要复杂查询的应用提供服务。Elasticsearch是一个基于Lucene的开源分布式搜索引擎，具有分布式多用户能力。Elasticsearc

2016-12-16 20:45:38 1853

转载 ElasticSearch学习22_百姓网 Elasticsearch 2.x 升级之路

导读：Elasticsearch 是广泛使用的一个软件，我们邀请了曾经在高可用架构分享过 ES 的王卫华继续分享在升级 Elasticsearch 过程中的经验。王卫华，资深开发工程师、架构师，具有 10+ 年互联网从业经验，曾获得微软 2002 – 2009 MVP 荣誉称号。在百姓网近 9 年，负责后端代码开发和 Elasticsearch & Solr 维护工作。现就职于途虎养车

2016-12-15 17:15:15 1003

原创 Metron学习8_使用Metron安装Elasticsearch后，启动时No interface named 'eth1' found报错

在前文中，已经解决了Metron安装过程中的报错：No interface named 'eth0' found, got [name:lo (lo), name:em1 (em1)]；但是在两个slave机上启动Elasticsearch时，还是遇到了问题，描述如下：[root@slave1 elasticsearch]# service elasticsearch startStar

2016-12-15 16:57:42 1606

转载 ElasticSearch学习21_nested: NoSuchFileException[/usr/share/elasticsearch/config]错误

用wget和dpkg命令安装了ES2.3.1，到/usr/share/elasticsearch/bin目录下运行./elasticsearch的时候，出现了以下错误：Exception in thread "main" ElasticsearchException[Failed to load logging configuration]; nested: NoSuchFileExcepti

2016-12-12 15:40:52 8401

原创 Metron学习7_Metron安装过后，一些被安装工具的位置

说明：首先，在/home/szx目录下安装Metron；在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-platform/ 下，可以看到Metron安装的相关工具及组件；在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-deployment/

2016-12-12 15:12:02 1319

转载 JAVA学习40_ CentOS 7默认的jdk 1.7升级方法(到1.8) - alternatives的功能

备注：新版本的elasticsearch需要使用jdk1.8，需要对jdk进行升级；按照下面操作进行时，不能完全成功，最后还需要按照JAVA学习39进行修改。要搞整最新2.1版本的elasticsearch，最好用jdk 1.8。CentOS7默认的却是1.7，所以得升个级。首先看图一目了解java的架构JDK 8 is a superset

2016-12-12 14:29:42 2976

转载 JAVA学习39_CentOS下重新安装JDK，避免OpenJDK干扰

备注：使用这个方法更改了java环境变量，本来做完其它操作后，一直不能成功。有的时候根据自己的需要，可能要不同版本的JDK，使用如下命令可以查看JDK版本java -version Centos在安装的时候，自带了一个OpenJDK这个JDK并不是我们想要的。因此正常安装即可。用我的32位的操作系统为

2016-12-12 14:26:57 368

原创 Metron学习6_No interface named 'eth0' found, got [name:lo (lo), name:em1 (em1)]错误解决

在安装Metron的过程中，出现以下错误：TASK [metron_elasticsearch_templates : Start Elasticsearch] ********************fatal: [slave2]: FAILED! => {"changed": false, "failed": true, "msg": "Exception in thread \"m

2016-12-10 16:56:28 952

原创 Metron学习5_Install/Deploy Metron to the Cluster过程及出现的问题

Note: Adding -u user -k to the below command lines allows deployment in environments where passwordless SSH has not been enabled.cd /root/incubator-metron/metron-deployment/playbooksRun the follow

2016-12-10 14:56:55 1039

转载 Ambari学习18_ 更换服务器IP地址后,Ambari各项服务心跳丢失(heartbeat lost)的解决方案

说明：转载这篇文章，是为了解决Ambari各项服务心跳丢失问题；解决方法描述：master上关闭ambari-server，所有节点上关闭ambari-agent；然后重新启动，即，master上开启ambari-server，所有节点上开启ambari-server。【问题描述】IP地址从172.16.***.***转到了192

2016-12-09 20:59:15 6505

转载 Metron学习4_Ansible Based Vagrant Single Node VM Install

备注：Metron安装方式的一种，基于单节点虚拟机安装；This install fully automates the provisioning of Apache Metron on single, virtualized host running on Virtualbox. Metron is composed of many components and in

2016-12-09 20:16:07 960

转载 Metron学习3_Enhancing Metron Dashboard

Now that we have Metron configured to parse, index and persist telemetry events and Nifi pushing data to Metron, lets now visualize this streaming telemetry data in the Metron UI. We will be adding 3

2016-12-09 16:50:40 1040

转载 Metron学习2_Metron Installation on an Ambari-Managed Cluster

The following provides instructions on how to install Metron on an existing Ambari-managed HDP 2.4 cluster. These are not recommendations for production deployment but rather for dev/testing environme

2016-12-05 19:00:06 1705

转载 ElasticSearch学习21_TF-IDF及其算法

概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作

2016-12-02 13:16:54 5028

转载 ElasticSearch学习20_Lucene4基础概念-Elasticsearch深入

学习Lucene是为了更深入搜索，学习Lucene4是为了弄懂ES中没有解释的疑问，等看完Lucene，才发现，搜索的核心原来都是Lucene，Elasticsearch只不过是包在Lucene外面的一层皮。 Lucene是一个搜索引擎包，它并非一个像tomcat一样的产品。它衍生出了solr和elasticsearch。当然，我学习的是后者。solr是apache孵化的一个搜索引

2016-11-30 18:48:16 593

翻译 Apache Metron Meetup May 4, 2016 - Big data cybersecurity

原文来自：http://slideshare.neatcn.com/hortonworks/apache-metron-meetup-may-4-2016-big-data-cybersecurity需要了解更多信息，请访问：http://hortonworks.com/apache/metron/ Apache Metron Meetup May 4, 2016

2016-11-25 13:49:14 2041

转载 CentOS学习21_ CentOS 配置防火墙操作实例（启、停、开、闭端口）

CentOS 配置防火墙操作实例（启、停、开、闭端口）：注：防火墙的基本操作命令：查询防火墙状态:[root@localhost ~]# service iptables status 停止防火墙:[root@localhost ~]# service iptables stop 启动防火墙:[root@l

2016-11-24 20:01:52 1286

转载 MVN学习1_Centos6.6安装Maven

安装说明虚拟机：VirtualBox操作用户：root系统环境：centos6.6 x64安装方式：tar包安装软件：apache-maven-3.2.5-bin.zip软件下载目录：/root/opt下载地址：http://ftp.riken.jp/net/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-b

2016-11-22 15:23:00 669

转载 Ambari学习17_Amabri 2.1安装HDP2.3.2 之七、自定义HDP服务

以zeppelin为例，它是一个基于网页的notebook，可以进行数据分析与可视化，zeppelin里有个概念是解释器，解释器使得很多后端语言能够像插件一样在zeppelin中使用，例如 Spark,、Python、sql、shell等等。具体介绍看zeppelin官网。添加zeppelin服务时不必关掉其他服务。我要用到python，而支持python的话需要自己编译zeppe

2016-11-22 15:14:24 1207 1

转载 Docker学习1_CentOS6下docker的安装和使用

Docker是一个开源的应用容器引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。利用Linux的LXC、AUFS、Go语言、cgroup实现了资源的独立，可以很轻松的实现文件、资源、网络等隔离，其最终的目标是实现类似PaaS平台的应用隔离。 Docker值得关注的特性：文件系统隔离：每个进程容器运行在一个完全独立的根文件系统里。资源隔

2016-11-22 10:30:22 1010

转载 MySQL学习13_Centos下Mysql创建用户

MySQL的root账号只能本地访问，不能远程访问。这时我们需要创建用户。登录mysql -u root -p Enter password: (输入密码) 其中-u后跟的是用户名，-p要求输入密码，回车后在输入密码处输入密码。用户创建、授权以及删除创建用户CREATE USER yy IDENTIFIED BY '123';11yy表示你要建立

2016-11-21 20:44:57 3038

原创 Ambari学习16_使用Ambari安装Hive的注意事项

安装Hive前，需要安装Mysql，如图安装Hive的步骤如下：http://blog.csdn.net/wang_zhenwei/article/details/50563718使用Ambari安装Hive的过程时，需要先在机器上安装好Mysql，安装过程如下：1.为ambari建立数据库# yum install mysql-connector-java#

2016-11-21 10:58:56 9227

原创 Ambari学习15_CentOS6.5下安装Ambari2.4全过程

Ambari安装一、前期准备CentOS应该使用英文版本1、网络修改/etc/sysconfig/network-scripts/ifcfg-em1，使网络开机时自动连接即设置：ONBOOT=yes2、系统文件修改/etc/hosts和/etc/sysconfig/network3、跟新openssl查看openssl版本：openssl versio

2016-11-17 13:48:11 5110

转载 Ambari学习14_升级ambari、HDP版本（ambari 2.1升级到2.4、HDP2.3升级到2.5）

官方升级版本说明http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html官方升级步骤http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/b

2016-11-16 15:44:52 3735

转载 Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集

5.在安装的时候遇到的问题5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1.5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo

2016-11-14 16:10:57 32240 1

转载 Ambari学习12_ambari删除脚本

#1.删除hdp.repo和hdp-util.repocd /etc/yum.repos.d/rm -rf hdp*rm -rf HDP*#rm -rf ambari*#2.删除安装包#用yum list installed | grep HDP来检查安装的ambari的包yum remove -y sqoop.noarch yum remove -y lzo-devel.x

2016-11-14 16:08:10 460

原创 Ambari学习11_安装过程[Errno 256] No more mirrors to try问题解决

在Ambari配置的倒数第二步，出现了[Errno 256] No more mirrors to try的问题。解决方法如下：1、yum clean all2、yum makecache然后从新安装。

2016-11-14 13:52:16 3924 3

转载 CentOS学习20_centos 6.4 NTP服务器的搭建过程

一、声明：操作系统：cenots 6.4server IP： 192.168.0.199应老男孩老师的要求，做一次NTP服务的科普，由于NTP属于外围知识，没必要占用宝贵的课堂时间进行讲解，特此在课下进行科普.其他声明：文章内容知识本人的一点理解，未必100%准确，更多资料请查看NTP官网：http://www.ntp.org/ntpfaq/NTP-s

2016-11-14 10:08:55 873

原创 CentOS学习19_centos6.5关闭transparent huge pages详细操作

vi /etc/grub.confkernel项增加 transparent_hugepage=never例如：title Red Hat Enterprise Linux (2.6.32-431.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/de

2016-11-12 16:57:34 1869

转载 CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法

一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升：http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使

2016-11-12 16:50:01 559

转载 Ambari学习10_ambari安装过程Registration with the server failed和[Errno 256] No more mirrors to try

今天重新安装ambari过程中，遇到了几个问题，耗费了我很长时间，在此记录一下ambari重新安装可参考我之前的一篇随笔http://www.cnblogs.com/6tian/p/4097401.html 遇到的问题一：此问题是在安装第二步，注册主机时遇到的('ERROR 2015-02-06 20:09:43,441 NetUtil.py:56 - [Err

2016-11-10 14:40:22 3485

转载 CentOS学习17_CentOS升级openssl为最新版

过程：wget http://www.openssl.org/source/openssl-1.0.1h.tar.gz tar zxvf openssl-1.0.1h.tar.gz cd openssl-1.0.1h ./config --prefix=/usr/local/openssl make && make install mv /usr/bi

2016-11-10 14:33:20 771

转载 Ambari学习9_setting up hdp 2.1 with non-standard users for hadoop services

setting up hdp 2.1 with non-standard users for hadoop services (why not use a non-standard user for ambari, too)Skip to end of metadataCreated by Lester Martin, last modified

2016-11-10 12:40:37 2292

原创 Ambari学习8_NetUtil.py:79 - SSLError: Failed to connect. Please check openssl library versions.

安装Ambari过程中，出现错误，查看提示，也只是：Registering with the server...Registration with the server failed.无奈，去查看日志，日志位置：/var/log/ambari-agent/ambari-agent.log，使用vim命令打开，使用Shift+g定位到最后一行，查看内容，ERROR 2016-11-

2016-11-10 11:06:15 5982 2

转载 Ambari学习7_使用ambari搭建hadoop集群(local)

Ambari是Hortonworks开源的一个管理和安装hadoop集群的工具，跟ClouderaManager类似。1、系统要求 1.1、操作系统要求都要求是64位操作系统。 Red Hat EnterPrise Linux：5.x 或 6.x CentOS：5.x 或 6

2016-11-10 09:58:08 1693

转载 Ambari学习6_ssh 公钥认证报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).解决

1.说明： ssh无密码用户远程登录，一直以来使用是debian操作系统，对用户目录权限要求没有关注过，生成了密钥，放对位置直接就可以使用，今天测试ansible工具，用到了CentOS6.3发现它对目录权限要求比较严格，本博文仅仅记录一下本次权限修改操作。2、操作记录(1)创建用户: ansible(2)修改sshd_config文件# vi /etc/s

2016-11-09 20:23:54 3727