原创
文章平均质量分 61
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
ElasticSearch学习8_在elasticsearch.yml中设置gateway.expected_nodes控制集群数据恢复
默认情况下,gateway.expected_nodes是被注释掉的,显示如下:#gateway.expected_nodes: 2集群中现在有4台机器,每次启动时,机器间都会互相拷贝数据,影响了稳定和性能,现在将gateway.expected_nodes修改如下:gateway.expected_nodes: 4表示4个节点启动后,会进行数据恢复工作。当启动3个节点后,原创 2015-12-30 09:45:44 · 2637 阅读 · 0 评论 -
Hadoop错误10_bash: hadoop: command not found问题解决
执行 hadoop dfsadmin -safemode leave 命令时,遇到下面的问题:[root@Slave1 bin]# hadoop dfsadmin -safemode leavebash: hadoop: command not found原因是/etc/profile里面没有进行hadoop的相关配置对该文件进行修改并使其生效:[root@Slave1 had原创 2016-01-18 09:15:24 · 26318 阅读 · 2 评论 -
MySQL学习10_使用chown更改/var/lib所有者导致Starting MySQL. ERROR! The server quit without updating PID file错误
编辑中~原创 2016-01-19 16:30:11 · 1467 阅读 · 0 评论 -
MySQL学习12_rpm安装MySQL报** is needed by **错误
使用rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm命令,安装MySQL时,遇到了下面的错误:[root@Master mysql]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpmwarning: MySQL-server-5.6.26-1.linux_glib原创 2016-01-20 16:41:10 · 11323 阅读 · 2 评论 -
Linux学习29_解决bash: 命令: command not found
配置路径时,在~/.bashrc和/etc/profile内写入# set hadoop pathexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin此时,使用vim,su等命令,出现 bash: 命令: command not found 错误将上面的写入内容改成:# set h原创 2016-01-21 14:31:30 · 1400 阅读 · 0 评论 -
Hive学习2_错误: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH
在启动Hive时,报错:The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH详细描述见一篇英文文档。I'm trying to install Apache Hive, I insert HIVE_HOME and HADOOP_HOME into hi原创 2016-01-22 14:29:06 · 8256 阅读 · 1 评论 -
Hive学习3_错误:hive startup -[ERROR] Terminal initialization failed; falling back to unsupported
在启动Hive时,遇到错误:[hadoop@Master apache-hive-1.2.1-bin]$ bin/hiveLogging initialized using configuration in file:/usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties[ERROR] Terminal initiali原创 2016-01-22 14:54:02 · 1113 阅读 · 0 评论 -
Hive学习6_CentOS6.5下Hive2.1安装
Hive前提条件:JRE、MySQL和Hadoop已经正确安装一、配置MySQL启动MySQL数据库创建hive数据库mysql> CREATE DATABASE hive;创建hive用户,并赋予访问hive数据库的权限mysql> GRANT ALL PRIVILEGES ON hive.* TO'hive'@'localhost' IDENTIFIED BY 'h原创 2016-01-22 18:34:49 · 3551 阅读 · 0 评论 -
Redis学习2_在学习Redis过程中,遇到的问题汇总
1. Redis的一个优势:所有操作都是原子性的,那么什么是原子性?事物原子性:事务的原子性指的是,事务中包含的程序作为系统的逻辑工作单位,它所做的对数据修改操作要么全部执行,要么完全不执行。这种特性称为原子性。原子性的意义是数据库系统的基础。简单举例说明:A想要从自己的帐户中转1000块钱到B的帐户里。那个从A开始转帐,到转帐结束的这一个过程,称之为一个事务。在这个事务里,要原创 2015-07-29 14:53:20 · 913 阅读 · 0 评论 -
Hadoop学习1_在使用命令行运行WordCount时,遇到的jar命令说明
1. jar cf WordCount.jar WordCount*.class使用情况:编译WordCount.java文件,编译java文件的命令为javac,截图如下:编译WordCount.java此时,在workspace文件夹下将会出现生成三个class文件,编译后生成class文件编译成功后,即可将三个class文件打包成jar文件,原创 2015-08-11 20:46:33 · 6359 阅读 · 0 评论 -
Hadoop错误2_Hadoop伪分布式下,运行WordCount时,Input path does not exist错误原因
在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误,(Eclipse:http://blog.csdn.net/wang_zhenwei/article/details/47422775)(命令行方式:http://blog.csdn.net/wang_zhenwei/article/details/47439623)原创 2015-08-12 14:38:31 · 32670 阅读 · 4 评论 -
Hadoop错误3_Ubuntu SSH Connection timed out类问题原因及解决方法
在Hadoop分布式环境配置的实验过程中,将公匙从Master节点传输到 Slave1 节点时,或者ssh Slave1节点时,可能会遇到以下的问题:ssh: connect to host slave1 port 22: Connection timed outlost connectionssh: connect to host slave1 port 22: No原创 2015-08-14 11:11:14 · 2857 阅读 · 0 评论 -
Ubuntu学习3_Ubuntu下怎样彻底卸载软件
在进行Hadoop环境配置时,ssh因为多次安装,会出现一些列的问题,建议彻底卸载后再次安装,或者保存一个未使用过的虚拟机备份,作为备用。卸载软件保留配置文件命令: sudo apt-get remove softname1 softname2 softname3…卸载并清除配置命令: sudo apt-get remove --purge softname1更原创 2015-08-14 09:50:11 · 804 阅读 · 0 评论 -
Hadoop错误4_产生sudo: unable to resolve host ubuntu的一种原因
在进行Hadoop集群配置的开始步骤,会使用以下方式对主机进行修改,sudo vim /etc/hostname # 在此处修改主机名sudo vim /etc/hosts # 在此处修改主机与 IP 的映射关系如果修改后不重启机器,将会以后面的一些步骤中遇到sudo: unable to resolve host ubuntu问题,重原创 2015-08-17 09:28:06 · 1388 阅读 · 0 评论 -
Hadoop错误5_配置Hadoop环境变量时export‘=’not a valid identifier的一个原因
该问题出现在配置Hadoop环境变量时,经过查找资料,发现问题原因,并根据说明解决。资料原文:这个问题至少让我损失了2个小时,终于在stackoverflow上找到原因You cannot put spaces around the = sign when you do:export foo=barRemove the spaces you ha原创 2015-08-24 10:48:45 · 4933 阅读 · 1 评论 -
Hadoop错误7_CentOS下Hadoop环境配置,普通用户jps无响应,但root用户有响应
jps(Java Virtual Machine Process Status Tool)是JDK提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。安装完jdk后,需要进行一下配置,(注:设置环境变量)vim /etc/profile编辑/etc/profile文件(注:在文件末尾插入下原创 2015-08-25 20:25:12 · 2388 阅读 · 0 评论 -
Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
文件配置:(注:修改配置文件需要使用root用户,否则修改失败)vim /etc/sysconfig/network修改主机名为:HOSTNAME=Mastervim /etc/sysconfig/network-scripts/ifcfg-eth0查看IP地址、网关、DNS服务器是否正确vim /etc/sysconfig/network-scripts/ifcgf-et原创 2015-08-27 13:51:07 · 1095 阅读 · 0 评论 -
Hadoop错误8_dfsadmin -report后livenodes为0 或 报错could only be replicated to 0 nodes, instead of 1
题目中的两个描述相同,发生在Hadoop环境配置过程中,首次初始化后,启动sbin/start-dfs.shsbin/start-yarn.sh然后jps查看,namenode和datanode正常启动,继续往下进行,sbin/stop-dfs.shsbin/stop-yarn.sh然后又正常关闭,但是,继续验证是否配置成功时,bin/hdfs dfsa原创 2015-08-27 14:17:41 · 2365 阅读 · 0 评论 -
CentOS学习4_Error mounting: mount: wrong fs type, bad option, bad superblock on /dev/sdb1简单解决方法
使用CentOS连接U盘时,刚连接时,可能会报一下错误:Error mounting: mount: wrong fs type, bad option, bad superblock on /dev/sdb1, missing codepage or helper program, or other error In some cases useful inf原创 2015-08-28 08:30:34 · 8960 阅读 · 0 评论 -
CentOS学习3_CentOS6.5下安装Eclipse
下载Linux版本的Eclipse:下载地址:http://www.eclipse.org/downloads/ 放置到home/hadoop/目录下:直接下载,或使用U盘拷贝,等等 (使用root用户)解压:mkdir /usr/local/eclipse在"/usr/local"下创建"eclipse"文件夹cp /home/hadoop/eclip原创 2015-08-27 18:47:49 · 2963 阅读 · 0 评论 -
Hadoop学习2_Hadoop完全分布式的Eclipse开发环境配置
Hadoop安全分布式的Eclipse开发环境配置 安装Eclipse:详细见教程:http://blog.csdn.net/wang_zhenwei/article/details/48032001 安装Hadoop-Eclipse-Plugin:下载 hadoop2x-eclipse-plugin ,将 release 中的 hadoop-eclipse-kepler-原创 2015-08-28 15:55:50 · 2992 阅读 · 0 评论 -
Hadoop学习4_CentOS6.5系统下Hadoop2.6.0集群增加机器详细操作
说明:操作前,集群下已有两台机器,Master和Slave1192.168.154.156 Master192.168.154.158 Slave1 操作是增加一台Slave2192.168.154.159 Slave2 文件配置:在Master下,vim /etc/hosts修改结果为192.168.154.156 Master192.168原创 2015-09-02 09:57:44 · 738 阅读 · 0 评论 -
CentOS学习5_为CentOS普通用户增加sudo操作权限
[hadoop@Master bin]$ suPassword: 进入root用户;[root@Master bin]# visudo编辑修改/etc/sudoers配置文件;在文件中,找到下面这一行:root ALL=(ALL) ALL在它的下面再添加一行,其中hadoop为普通用户名:hadoop ALL=(ALL原创 2015-09-07 09:36:09 · 771 阅读 · 0 评论 -
MongoDB错误1_启动mongodb时遇到child process failed,existed with error number 1错误
在进行安装配置mongodb实验时,按照以下的步骤进行: 启动mongodb:cd /usr/local/mongodb/mongodb/bin进入每个mongodb节点的bin目录下./mongod -f ../conf/mongodb-master.conf ./mongod -f ../conf/mongodb-slaver.conf ./mongod -f原创 2015-09-07 17:09:40 · 24438 阅读 · 1 评论 -
MongoDB学习4_CentOS6.5系统下,MongoDB之Replica Set集群搭建
CentOS6.5系统下,MongoDB之Replcia Set集群搭建 准备工作:官网介绍地址:http://docs.mongodb.org/manual/MongoDB:一种NoSQL(Not Only SQL)数据库,不仅仅是关系型数据库,它的存储方式是文档式存储。 NoSQL:随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大原创 2015-09-07 16:26:19 · 1261 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本1
使用三台主机,对应的主机名和IP地址是:192.168.154.158 Slave1192.168.154.159 Slave2192.168.154.160 Slave3 文件配置:(注:修改配置文件需要使用root用户,否则修改失败)vim /etc/sysconfig/network修改主机名为:HOSTNAME=Slave1vim /etc/hosts原创 2015-09-10 17:19:10 · 1538 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-单机版
下载zookeeper:下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 安装zookeeper:将zookeeper-3.4.6.tar.gz拿U盘复制到/home/hadoop目录下 cd /home/hadoop打开目录/home/hadoop原创 2015-09-10 10:20:23 · 3542 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本2
前期配置参考:http://blog.csdn.net/wang_zhenwei/article/details/48346327 前期主要内容包括:使用三台主机,对应的主机名和IP地址是:192.168.154.158 Slave1192.168.154.159 Slave2192.168.154.160 Slave3 文件配置: 下载zookeepe原创 2015-09-11 00:54:49 · 2564 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本2-附录
Slave1启动kafka服务的显示结果:[root@Slave1 kafka]# sh bin/kafka-server-start.sh config/server.properties[2015-09-10 08:42:17,026] INFO Verifying properties (kafka.utils.VerifiableProperties)[2015-09-10 0原创 2015-09-11 00:56:16 · 1850 阅读 · 0 评论 -
Flume学习4_CentOS6.5下,Flume安装及配置详细教程-存疑版
CentOS6.5下,Flume安装及配置详细教程 下载地址:http://mirror.bit.edu.cn/apache/flume/1.5.0.1/apache-flume-1.5.0.1-bin.tar.gz 安装:cd /usr/local打开local目录wget http://mirror.bit.edu.cn/apache/flume/1.5.0.1原创 2015-09-14 13:41:32 · 3596 阅读 · 0 评论 -
Linux学习8_.deb文件和.rpm文件的区别
deb后缀的软件包是for Debian系的(包括Ubuntu),不是给centos安装的。rpm后缀的软件包是for Redhat系的(包括CentOS)。提供linux软件包的网站通常会同时给出rpm和deb后缀的同版本号安装包,以及编译安装包。关于怎样将deb文件转换成rpm文件:How to Convert DEB to RPM (RPM to DEB)原创 2015-09-16 11:14:14 · 3906 阅读 · 0 评论 -
CentOS学习7_CentOS下安装Libreoffice
CentOS下安装Libreoffice (注:下载后发现,CentOS上应该使用rm版本)官网:最新版http://zh-cn.libreoffice.org/download/libreoffice-fresh/稳定版http://zh-cn.libreoffice.org/download/libreoffice-still/http://zh-cn.libr原创 2015-09-16 11:38:57 · 7069 阅读 · 0 评论 -
Flume学习7_Flume配置文件内容详解
对(CentOS6.5下,Flume安装及配置详细教程)(链接:http://blog.csdn.net/wang_zhenwei/article/details/48438105)中的配置文件进行解释:a1.sources = r1a1.sinks = k1a1.channels = c1该配置文件中 配置了一个代理a1 在代理agent中配置了一个原创 2015-09-16 18:25:57 · 5588 阅读 · 0 评论 -
MySQL学习1_Win7下安装MySQL5.6.26
Win7下安装MySQL5.6.261.下载Windows下MySQL下载安装:http://dev.mysql.com/downloads/mysql/或http://dev.mysql.com/downloads/file.php?id=458258版本为mysql-5.6.26-winx64 2.解压 3.环境变量配置新增一个环境变量变量名:M原创 2015-09-17 21:14:19 · 791 阅读 · 0 评论 -
MySQL学习2_CentOS下安装MySQL遇到问题:Access denied for user 'root'@'localhost'
问题描述:[root@Master hadoop]# mysqladmin -u root password 'root'mysqladmin: connect to server at 'localhost' failederror: 'Access denied for user 'root'@'localhost' (using password: NO)'原创 2015-09-18 10:43:35 · 736 阅读 · 0 评论 -
MySQL学习5_CentOS下Mysql数据库(不使用yum命令)的安装与配置
注:按照上一个安装说明操作,会出现一些问题。比如,自动安装的mysql版本很旧,5.1.0x版本的,官网的Mysql已经是 5.6.x版本了。如果坚持安装最新版本,在MYSQL官网下载rpm-.tar安装包,Linux 64位版本的大小大约300MB左右。 1.下载:MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar下原创 2015-09-18 17:04:30 · 1341 阅读 · 0 评论 -
VMware学习2_解决VMware虚拟机重启后IP地址变化问题
VMware重启后,IP地址可能会发生变化,给环境配置和软件安装带来了很大的不变,所以需要把VMware虚拟机的IP地址设定为固定值,避免因为因IP地址变化而重新修改配置文件。打开VMware软件,在编辑------>虚拟网络编辑器中,查看相关设置:虚拟机网络类型采用的是NAT模式,子网地址是192.168.154.0,虚拟机的IP地址都是192.168.154.*。进入虚拟机内,原创 2015-09-24 09:27:32 · 26295 阅读 · 1 评论 -
Hadoop错误9_解决Hadoop的Safe mode is ON问题
好久没启动Hadoop集群,今天启动后发现出了一些问题。启动后,输入jps命令,发现Namenode节点没有启动,问题描述如下:[hadoop@Master hadoop]$ jps33100 ResourceManager33358 Jps32957 SecondaryNameNode同样,输入bin/hdfs dfsadmin -report查看各个节点的状态,也显示失败:[原创 2015-09-24 10:45:24 · 8910 阅读 · 1 评论 -
Linux学习9_sh命令使用问题解决
输入命令时,遇到下面的问题:[hadoop@Slave1 bin]$ cd /usr/local/kafka[hadoop@Slave1 kafka]$ cd bin[hadoop@Slave1 bin]$ kafka-topics.sh --list --zookeeper localhost:2181bash: kafka-topics.sh: command not found[原创 2015-09-24 16:49:10 · 1987 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper操作整理
关闭防火墙:service iptables stop (以下操作在Slave1、Slave2、Slave3上都有进行)Zookeeper:目录:cd /usr/local/zookeeper 启动zookeeper:[root@Slave1 zookeeper]# cd bin[root@Slave1 bin]# sh zkServer.sh start原创 2015-09-25 20:21:56 · 1634 阅读 · 0 评论