2017年02月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 CentOS学习23_CentOS下查看电脑硬件设备属性命令

如何在linux下查看电脑硬件设备属性# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv

2017-02-22 14:32:12 3974

转载 Linux学习39_用linux的命令从多个文件中统计ip的个数

前提：若干个文件如hostsAA_平台.cfg 、 hostsBB_服务.cfg 、 hostsCC_平台.cfg 、 hostsDD_服务.cfg、 hostsXX_平台.cfg，每个文件定义了很多主机数，每个主机配置定义格式如下：define host{ use linux-server host_name AA

2017-02-21 15:58:28 1536

转载 JAVA学习45_51Nod－1489－蜥蜴和地下室

描述题解首先将头尾的两个弓箭手打爆，然后dfs中间的弓箭手即可。这里需要注意，每次往后搜索N+1的条件是，第N-1个弓箭手已经被A死了，但是第N个弓箭手不要求必须死。因为这里数据很小，所以dfs暴力搜索是可以AC的……代码#include using namespace std;const int INF = 0x3f3f3f3f;co

2017-02-21 15:46:51 475

转载 JAVA学习44_leetCode解题报告之Copy List with Random Pointer

题目：A linked list is given such that each node contains an additional random pointer which could point to any node in the list or null.Return a deep copy of the list.分析：我们知道如果是简单的co

2017-02-21 14:48:21 469

转载 Linux学习38_Linux下chkconfig命令详解

chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。使用语法：chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level ][系统服务][on/off/reset]chkconfig在没有参数运行时，显示用法。如果

2017-02-21 14:23:16 122

转载 JAVA学习43_JAVA多线程和并发基础面试题

多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一。在这里，从面试的角度列出了大部分重要的问题，但是你仍然应该牢固的掌握Java多线程基础知识来对应日后碰到的问题。（校对注：非常赞同这个观点）Java多线程面试问题1. 进程和线程之间有什么不同？一个进程是一个独立(self contained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的

2017-02-21 14:16:51 88

转载 JAVA学习42_Java时间日期格式转换

Java时间格式转换大全import java.text.*;import java.util.Calendar;public class VeDate {/** * 获取现在时间 * * @return 返回时间类型 yyyy-MM-dd HH:mm:ss */public static Date getNowDate() { Date current

2017-02-21 14:14:11 551

转载 Hadoop学习9_hadoop常用命令

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文

2017-02-21 13:55:38 298

转载 Hadoop学习8_hadoop入门手册4：Hadoop【2.7.1】初级入门之命令：文件系统shell1

问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处？2.如何改变文件所属组？3.如何改变hdfs的文件权限？4.如何查找hdfs文件，并且不区分大小写？概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File System (HDFS)交互。hadoop也支持其

2017-02-21 13:53:19 333

转载 Hbase学习8_ 启动hbase 报错 Address already in use 的解决办法

master: java.net.BindException: Address already in usemaster: at sun.nio.ch.Net.bind(Native Method)master: at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:1

2017-02-20 13:45:39 870

转载 Hbase学习7_hbase增加backup master

为了增加hbase集群的可用性，可以为hbase增加多个backup master。当master挂掉后，backup master可以自动接管整个hbase的集群。配置backup master的方式是在hbase的conf下增加文件backup-masters，在该文件里面增加backup master的机器列表，每台机器一条记录。如：backup-masters

2017-02-20 12:29:16 1666

转载 Hbase学习6_<hostname>:9000 failed on connection exception: java.net.ConnectException: 拒绝连接

1.首先确保Hadoop相应进程是否开启，通过jps查看是否有namenode进程2.然后通过netstat -nltp|grep 9000查看9000端口是否处于监听状态3.接着通过telnet 远程的主机名 9000查看是否连接成功，如果提示Connection refused则进行第4步4.通过sudo service iptables status查看防火墙是否开启

2017-02-20 12:18:29 5569

原创 JAVA学习41_普通日期转换为Elasticsearch默认ISO8601

import java.text.*;import java.util.Date;public class DateToEs { static SimpleDateFormat dateiso8601 = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"); static SimpleDateFormat date1 = new S

2017-02-17 15:25:49 3110

原创 Logstash学习11_Logstash处理时区、类型转换、删除字段的案例配置

#输入input { file { path => ["文件路径"]#自定义类型 type => "自定义" start_position => "beginning" }}#过滤器filter{#去除换行符mutate{gsub => [ "message", "\r", "" ]

2017-02-17 15:18:30 20138 1

转载 Hbase学习5_开启 hbase 时，slave 上的 HRegionServer 没有启动

1.问题描述我在开启 hbase 时发现 slave 上的 HRegionserver 没有启动，后来查看 log 日志发现如下问题：由上述图片中的信息初步判断是由于 date 时间设置没有与主机同步2.解决方法第一种：使用 date -s “2014-1-4 12:16:00” 在 root 权限下键入时间，使其与主机同步

2017-02-16 15:58:35 1779

转载 CentOS学习22_CentOS 6 时间，时区，设置修改及时间同步

一、时区显示时区date --help 获取帮助date -Rdate +%z上面两个命令都可[plain] view plain copy[root@localhost ~]# date -R; date +%z Fri, 19 Oct 2012 23:34:27 +0800 +0800

2017-02-16 15:56:44 854

转载 Hbase学习4_ 启动hbase 报错 Address already in use 的解决办法

master: java.net.BindException: Address already in usemaster: at sun.nio.ch.Net.bind(Native Method)master: at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:1

2017-02-16 15:32:48 1003

转载 Hbase学习3_HBase1.2.4分布式安装

说明对于HBase与Hadoop版本要选择相对应的（否则会出很多问题），具体对应版本可参考：https://hbase.apache.org/book.html#basic.prerequisites 本次集群对应版本为：Hadoop-2.7.2 + HBase-1.2.0192.168.203.148 Master 192.168.203.149

2017-02-16 15:30:20 1788

转载 BigData学习4_内部攻击实验数据集浅析

杨光+吴钰摘要：获取用户行为数据集是内部威胁研究的前提和基础，该文深度调研了当今公开的内部威胁实验数据集，通过分析KDD99、SEA、WUIL以及CERT-IT四种主流的数据集，提出上述数据集的优缺点，并指出未来数据集构建的研究方向。关键词：内部威胁；网络安全；安全审计中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）21-0055-02

2017-02-14 15:12:53 5382

原创 Logstash学习10_Logstash从Kafka或文件接收数据的配置demo介绍

下面介绍两个Logstash的配置Demo：Demo1：input {kafka { zk_connect => "10.10.16.2:2181,10.10.16.3:2181,10.10.16.4:2181" group_id => "test-consumer-group" topic_id => "MyPattern" reset_beginning => fal

2017-02-13 14:51:18 4050

转载 Logstash学习9_Logstash去除一些字段里面的换行符（\r）

使用mutate+gsub来去除一些字段里面的换行符 Java代码 mutate { gsub => [ "message", "\r", "" ] } 原文来自：http://blog.csdn.net/u010454030/article/details/49680531

2017-02-13 13:43:08 8743 1

转载 Logstash学习8_分布式日志收集之Logstash 笔记（二）

进入正题吧，上篇介绍了Logstash的基础知识和入门demo，本篇介绍几个比较常用的命令和案例通过上篇介绍，我们大体知道了整个logstash处理日志的流程： input => filter => output 除了上面几个基础命令，还有ruby，mutate，gork，codes几个命令比较常用：在线gork正则的地址：http://grokdebug.herok

2017-02-10 16:51:43 1004

转载 Hbase学习2_HBase数据同步到ElasticSearch的方案

ElasticSearch的River机制ElasticSearch自身提供了一个River机制，用于同步数据。这里可以找到官方目前推荐的River：http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/但是官方没有提供HBase的River。其实ES的River非常简单，就

2017-02-08 12:26:53 2985