2016年01月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 Hbase学习1_CentOS6.5下Hbase1.1.2安装

Hbase一、安装Hbase在两台虚拟机Master和Slave1上安装Hbase所需条件：Hadoop和Zookeeper集群安装完成Root用户下操作1、解压安装将hbase-1.1.2-bin.tar.gz拿U盘复制到/home/hadoop目录下在/home/hadoop目录下，解压安装tar -zxvf hbase-1.1.2-bin.tar.gz -C/

2016-01-26 16:21:19 1995

原创 Hive学习6_CentOS6.5下Hive2.1安装

Hive前提条件：JRE、MySQL和Hadoop已经正确安装一、配置MySQL启动MySQL数据库创建hive数据库mysql> CREATE DATABASE hive;创建hive用户，并赋予访问hive数据库的权限mysql> GRANT ALL PRIVILEGES ON hive.* TO'hive'@'localhost' IDENTIFIED BY 'h

2016-01-22 18:34:49 3472

转载 Hive学习5_Hive - Installation

All Hadoop sub-projects such as Hive, Pig, and HBase support Linux operating system. Therefore, you need to install any Linux flavored OS. The following simple steps are executed for Hive installation

2016-01-22 15:51:46 708

转载 Hive学习4_Hive on Spark: Getting Started_Common Issues

IssueCauseResolutionIssueCauseResolution[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeErro

2016-01-22 15:32:29 1929

原创 Hive学习3_错误：hive startup -[ERROR] Terminal initialization failed; falling back to unsupported

在启动Hive时，遇到错误：[hadoop@Master apache-hive-1.2.1-bin]$ bin/hiveLogging initialized using configuration in file:/usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties[ERROR] Terminal initiali

2016-01-22 14:54:02 1103

原创 Hive学习2_错误： The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH

在启动Hive时，报错：The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH详细描述见一篇英文文档。I'm trying to install Apache Hive, I insert HIVE_HOME and HADOOP_HOME into hi

2016-01-22 14:29:06 8210 1

转载 Hive学习1_hive配置遇到的问题：Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%

遇到的异常详情如下：Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:

2016-01-22 14:08:59 3149

原创 Linux学习29_解决bash: 命令: command not found

配置路径时，在~/.bashrc和/etc/profile内写入# set hadoop pathexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin此时，使用vim，su等命令，出现 bash: 命令: command not found 错误将上面的写入内容改成：# set h

2016-01-21 14:31:30 1375

原创 MySQL学习12_rpm安装MySQL报 is needed by 错误

使用rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm命令，安装MySQL时，遇到了下面的错误：[root@Master mysql]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpmwarning: MySQL-server-5.6.26-1.linux_glib

2016-01-20 16:41:10 11227 2

转载 CentOS学习14_CentOS下默认RPM安装路径

针对RPM包一般情况下命令放在/usr/bin或/usr/sbin下库在/usr/lib下数据文件在/usr/share/下命名：rpm -pql [rpm文件名]，来查看一个rpm包里有哪些文件，即安装的路径如果是从源码安装的话可以选择安装路径：用这条命今看参数./configure --help./configure --prefix=/

2016-01-19 21:05:05 2946

转载 MySQL学习11_用rpm包安装的MySQL没有安装/etc/my.cnf文件

用rpm包安装的MySQL是不会安装/etc/my.cnf文件的，至于为什么没有这个文件而MySQL却也能正常启动和作用，在点有两个说法，第一种说法，my.cnf只是MySQL启动时的一个参数文件，可以没有它，这时MySQL会用内置的默认参数启动，第二种说法，MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件，这种说法仅限于rpm包安装的M

2016-01-19 21:02:40 2936

原创 MySQL学习10_使用chown更改/var/lib所有者导致Starting MySQL. ERROR! The server quit without updating PID file错误

编辑中~

2016-01-19 16:30:11 1434

转载 Linux学习28_每天一个linux命令（31）: /etc/group文件详解

Linux /etc/group文件与/etc/passwd和/etc/shadow文件都是有关于系统管理员对用户和用户组管理时相关的文件。linux /etc/group文件是有关于系统管理员对用户和用户组管理的文件,linux用户组的所有信息都存放在/etc/group文件中。具有某种共同特征的用户集合起来就是用户组（Group）。用户组（Group）配置文件主要有 /etc/group和/e

2016-01-19 10:48:19 391

转载 CentOS学习13_rpm常用命令及rpm参数介绍

RPM是RedhatPackageManager的缩写，是由RedHat公司开发的软件包安装和管理程序，同Windows平台上的Uninstaller比较类似。使用RPM，用户可以自行安装和管理Linux上的应用程序和系统工具。RPM可以让用户直接以binary方式安装软件包，并且可替用户查询是否已经安装了有关的库文件；在用RPM删除程序时，它又会聪明地询问用户是否要删除有关的程序。如果使用RPM

2016-01-19 10:32:24 444

转载 MySQL学习9_ CentOS下如何完全卸载MySQL？

CentOS下如何完全卸载MySQL？解决卸载不干净的问题系统：CentOS 6.5，MySQL：MySql 5.6这里主要解决使用rpm安装的卸载问题，安装方法见：CentOS安装mysql*.rpm提示conflicts with file from package的解决办法虽然说这里的是使用rpm安装的卸载问题，我觉得使用yum方式安装的如果遇到相同的问题也一样适

2016-01-19 10:22:21 218

转载 Linux学习27_每天一个linux命令（28）：tar命令

通过SSH访问服务器，难免会要用到压缩，解压缩，打包，解包等，这时候tar命令就是是必不可少的一个功能强大的工具。linux中最流行的tar是麻雀虽小，五脏俱全，功能强大。tar命令可以为linux的文件和目录创建档案。利用tar，可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。tar最初被用来在磁带上创建档案，现在，用户可以在任何设备上创建档案。

2016-01-19 09:28:24 364

转载 MySQL学习8_mysqld与mysql命令区别

mysql - it's a commandline (administration) tool 命令行工具mysqld - it's a server daemon. this is the database server main binary (executable)启动MYSQL服务mysqldSQL后台程序(即MySQL服务器)。要想使用客户端程序，该程序必须

2016-01-18 20:42:35 940

转载 CentOS学习12_ [Errno 256] No more mirrors to try 解决方法

解决方法：输入下面的命令即可解决问题：yum clean allyum makecache[root@localhost yum]# yum updateLoaded plugins: fastestmirror, refresh-packagekit, securityRepository base is listed more than once in

2016-01-18 13:43:55 22189 1

原创 Hadoop错误10_bash: hadoop: command not found问题解决

执行 hadoop dfsadmin -safemode leave 命令时，遇到下面的问题：[root@Slave1 bin]# hadoop dfsadmin -safemode leavebash: hadoop: command not found原因是/etc/profile里面没有进行hadoop的相关配置对该文件进行修改并使其生效：[root@Slave1 had

2016-01-18 09:15:24 26111 2

转载 Node.js学习1_记一次 Node.js 应用内存暴涨分析

起因之前 TMS 在运行时 CPU 中占用率和内存占用一直很高，导致应用运行状态不是很良好，需要频繁重启。经过排查，找出了部分原因：使用的 html-minifier 模块有问题，如果输入的内容是一个有错误的 HTML 结构，会使解析进入死循环，导致 CPU 占用率 100%。在使用 vm 模块时，使用姿势错误，导致内存占用无法释放，使内存占用暴涨。

2016-01-15 09:20:14 6304

转载 JAVA学习14_Joda-Time 简介

既然无法摆脱时间，为何不设法简化时间处理？任何企业应用程序都需要处理时间问题。应用程序需要知道当前的时间点和下一个时间点，有时它们还必须计算这两个时间点之间的路径。使用 JDK 完成这项任务将非常痛苦和繁琐。现在来看看 Joda Time，一个面向 Java™ 平台的易于使用的开源时间/日期库。正如您在本文中了解的那样，Joda-Time 轻松化解了处理日期和时间的痛苦和繁琐。

2016-01-14 15:23:12 668

原创 Logstash学习7_Logstash_Date时间处理_Joda-Time库

filters/date 插件可以用来转换你的日志记录中的时间字符串，变成 LogStash::Timestamp 对象，然后转存到 @timestamp 字段里。filters/date 插件支持的时间格式包括Joda-Time库：SymbolMeaningPresentationExamplesGeratextAD

2016-01-14 14:39:53 5077 2

转载 ElasticSearch学习11_集群脑裂_Split-Brain

在ES集群中，可能会遇到脑裂问题，描述如下所示：下面对脑裂进行一些介绍：脑裂：本来一个大脑的两半球互相配合，变成了分裂成两个独立的大脑，都认为对方已死。在集群环境中，有这么几种可能造成"Split-Brain"现象： 1、在集群环境中的节点间的心跳线同时断掉后，集群系统所处于的一种特殊状态。例如节点1和2组成一个集群，突然1和2间的心跳同时都断了，

2016-01-14 10:25:49 1940

原创 ELK学习11_ELK Stack交流群问题汇总一

备注：以下问题来自ELK stack交流群，对交流群中他人提到的问题进行汇总，如果以后自己遇到的话，也可以有所帮助。ELK Stack交流群：315428175Elastic中文社区：1906058461、logstash占用的系统内存不断飙升怎么解决？答：logstash最新版2.1.1已经修复该问题。

2016-01-13 16:41:14 1399

转载 ElasticSearch学习10_ElasticSearch安装部署说明

一．对Elasticsearch的入门认识Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。下面是Elasticsearch一些应用的例子：…维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-as-you-type)

2016-01-13 16:31:39 1576

转载 ElasticSearch学习9_ES内存那点事

“该给ES分配多少内存？” “JVM参数如何优化?““为何我的Heap占用这么高？”“为何经常有某个field的数据量超出内存限制的异常？““为何感觉上没多少数据，也会经常Out Of Memory？”以上问题，显然没有一个统一的数学公式能够给出答案。和数据库类似，ES对于内存的消耗，和很多因素相关，诸如数据总量、mapping设置、查询方式、查询频度等等。默认的设置虽开

2016-01-13 16:17:23 21438 3

原创 JAVA学习13_line.split("")的使用和解决ES接收数据不全的问题

在使用Java程序读取.csv文件时，遇到数据读取不全，部分数据丢失的问题。对传输成功的数据和丢失的数据进行对比："1227280156","21-SEP-15 12.55.21.830 PM","11.1.12.132","1","144.28.139.144","106.38.221.238","4587","80","20:16:A3:C4:06:67","00:0D:48:2A:6

2016-01-08 09:44:02 7960

转载 JAVA学习12_Java中的注解是如何工作的？

自Java5.0版本引入注解之后，它就成为了Java平台中非常重要的一部分。开发过程中，我们也时常在应用代码中会看到诸如@Override，@Deprecated这样的注解。这篇文章中，我将向大家讲述到底什么是注解，为什么要引入注解，注解是如何工作的，如何编写自定义的注解(通过例子)，什么情况下可以使用注解以及最新注解和ADF(应用开发框架)。这会花点儿时间，所以为自己准备一杯咖啡，让我们来进入注

2016-01-04 14:30:18 360

转载 JAVA学习11_Java注解Annotation详解

注解相当于一种标记，在程序中加了注解就等于为程序打上了某种标记，没加，则等于没有某种标记，以后，javac编译器，开发工具和其他程序可以用反射来了解你的类及各种元素上有无何种标记，看你有什么标记，就去干相应的事。标记可以加在包，类，字段，方法，方法的参数以及局部变量上。自定义注解及其应用1）、定义一个最简单的注解public @interfa

2016-01-04 11:33:16 416