linux
雨轩_wscrf
奔跑在通往技术大牛的道路上。。。。
展开
-
org.apache.jasper.JasperException: java.lang.IllegalStateException: No output folder:
org.apache.jasper.JasperException: java.lang.IllegalStateException: No output folder:关于这个原因主要是权限的问题,在tomcat/work/Catalina/localhost/,主要是这个目录没有被读写的权限,导致文件不能被编译到该指定的工作目录中,此时我们就要针对与这个目录做一些权限的修改权限至少要达到755...原创 2018-06-13 16:54:54 · 1825 阅读 · 0 评论 -
hadoop2.7.2完全分布式环境搭建
1、先使用groupadd hadoop 建立hadoop用户组2、新建用户,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用户hadoop指定用户主目录/usr/hadoop 及所属组hadoop)3、passwd hadoop 设置hadoop密码(这里设置密码为hadoop)4、安装好jdk1.8版本 ,安装教材地址http://www.cnbl...转载 2018-05-18 13:09:00 · 684 阅读 · 1 评论 -
windows下eclipse 做hadoop开发
1、先安装好hadoop 集群 参考文档http://www.cnblogs.com/bornteam/p/6517960.html2、首先安装好集群,再把去下载hadoop-eclipse-plugin-2.6.0.jar放在eclipse安装文件夹的插件中 下载链接https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/r...转载 2018-05-18 13:07:40 · 204 阅读 · 0 评论 -
找不到或无法加载主类 org.apache.sqoop.sqoop
错误:找不到或无法加载主类 org.apache.sqoop.sqoop我从网上搜索答案,说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下,或者放到share/hadoop/yarn下,其实这种说法是片面的!因为到1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar或者sqoop-1.4.6.jar.解决方法:1.sqoop-1.4.x.tar...原创 2018-05-04 23:09:35 · 5214 阅读 · 3 评论 -
Linux上安装Zookeeper以及一些注意事项
分布式应用现在已经越来越广泛,Spring Could也是一个不错的一站式解决方案,不过据我了解国内目前貌似使用阿里Dubbo的公司比较多,一方面这个框架也确实很OK,另一方面可能也是因为Dubbo的中文文档比较全的缘故,据Dubbo官网上的消息,阿里已经重新开始了对Dubbo的维护,这也算是使用Dubbo的互联网公司的福音了吧。OK,废话不多说,今天我们就先来看看如何在Linux上安装zooke...转载 2018-05-04 22:30:43 · 235 阅读 · 0 评论 -
如何将mysql数据导入Hadoop之Sqoop安装
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够...转载 2018-05-04 21:55:31 · 367 阅读 · 0 评论 -
linux下mysql安装
1、下载地址https://www.mysql.com/downloads/选择community server 点击DOWLOAD选择版本,当前选择的5.6版本 点击下载mysql-5.6.38-linux-glibc2.12-i686.tar.gz选择no thanks2、安装mysqltar -xvzf mysql-5.6.38-linux-glibc2.12-i686.tar.gz...转载 2018-05-04 17:43:43 · 103 阅读 · 0 评论 -
Hadoop总结—思维导图
概述最近在学习Hadoop系统,目前学习了HDFS、Mapreduce、HBase、Hive、Zookeeper这些组件,因此尝试将学习的东西用思维导图的形式做一个总结回顾。思维导图总体搭建架构-HDFS架构-MapReduce组件-HBase组件-Hive组件-ZooKeeper...转载 2018-05-10 18:52:57 · 1024 阅读 · 0 评论 -
Linux下安装MySQL
安装步骤1、下载 下载地址:http://dev.mysql.com/downloads/mysql/5.6.html#downloads 下载版本:我这里选择的5.6.33,通用版,linux下64位 也可以直接复制64位的下载地址,通过命令下载:wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-lin...转载 2018-05-04 10:38:00 · 103 阅读 · 0 评论 -
Hive安装(本地独立模式,MySQL为元数据库)
3. 复制一份hive-default.xml.template重命名为hive-site.xmlcp hive-default.xml.template hive-site.xml4. 更改hive-site.xml 内容注意:javax.jdo.option.ConnectionURLjdbc:mysql://localhost/hive_metastore?createDatabaseIfN...转载 2018-05-07 23:05:01 · 433 阅读 · 0 评论 -
hadoop hdfs常用命令
hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs...转载 2018-05-08 10:32:51 · 262 阅读 · 0 评论 -
解决 maps to localhost, but this does not map back to the address
修改 /etc/ssh/ssh_configvim /etc/ssh/ssh_configGSSAPIAuthentication no原创 2018-05-16 20:20:09 · 2616 阅读 · 0 评论 -
个人超全hbase集群搭建过程!!!
Hbase集群是建立在hadoop集群之上,需要先搭建好hadoop集群,再搭建hbase集群。集群规划[plain] view plain copy 主机名 IP 安装的软件 运行的进程 itcast01 192.168.1.201 jdk、hadoop NameNode...转载 2018-05-29 16:03:36 · 356 阅读 · 0 评论 -
AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs
1.在用MapReduce 跑Hbase任务是出现这个从错误: AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster. 这个问题出现的背景是:Hbase中某张表每一条都含有照片,并且照片较大。问题原因貌似跟内存有关,可能是集群...原创 2018-05-29 13:11:44 · 6915 阅读 · 0 评论 -
sqoop 常用命令整理(一)
这些内容是从sqoop的官网整理出来的,是1.4.3版本的Document,如果有错误,希望大家指正。 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST 2.账号密码 sqoop import --connect jdbc:mysql://da...转载 2018-05-29 10:05:01 · 1073 阅读 · 0 评论 -
sqoop export 数据覆盖更新
sqoop的导出工具是把HDFS上文件中的数据导出到mysql中mysql中的表现在在linux上创建一个文件,并把这个文件上传到hdfs上cat person.txt 7,no7,778,no8,88$ hadoop fs -mkdir person_export$ hadoop fs -put -f person.txt person_export$ hadoop fs -ls p...转载 2018-05-29 10:02:23 · 1761 阅读 · 0 评论 -
linux tomcat7,nginx开机自启
linux tomcat7开机自启?/centos7 tomcat开机自启?linux nginx开机自启?/centos7 nginx开机自启?类似很多上面的这种开机自启问题都可以通过下面的方法解决,这两天查询了很多资料,试了很多方法。终于解决了。比如想要开机自启动tomcat7,最简单的方法就是修改/etc/rc.d/rc.local文件。在最后添加 export JAVA_HOME=/...原创 2018-06-04 19:38:03 · 300 阅读 · 0 评论 -
CAS4.0 server 环境的搭建
1、上cas的官网下载cas server 官网地址:https://github.com/Jasig/cas/releases,下载好后 解压下载的 cas-server-4.0.0-release.zip 压缩包,把cas-server-4.0.0\modules\cas-server-webapp-4.0.0.war 重命名为cas.war2、cas.war 放到tomcat的...原创 2018-06-11 17:05:34 · 394 阅读 · 0 评论 -
MYSQL登录错误:mysqladmin: connect to server at 'localhost' failed
一、mysql登录错误mysqladmin: connect to server at 'localhost' failederror: 'Access denied for user 'root'@'localhost' (using password: YES)'无法修改密码用 service mysqld stopmysqld_safe --skip-grant-tables &输入...转载 2018-05-28 16:37:17 · 6576 阅读 · 0 评论 -
./configure && make && make install详解
在Linux中利用源码包安装软件最重要的就是要仔细阅读安装包当中的README INSTALL两个说明文件,这两个文件会清楚的告诉你如何可以正确的完成这个软件的安装! 我们都知道源码包安装分为这么几个阶段,1、 ./configure:“configure”会在你的系统上测试存在的特性 Make:编译程序。5、 cd:进入到这个源码包。 现在ls一下mrtg这个目录下多了一个...转载 2018-06-04 15:59:05 · 15076 阅读 · 0 评论 -
hadoop ha 只能同时启动一个namenode问题的解决方案
启动一个,另外一个就自动退出了。。后来发现是我配置文件的问题:1. hdfs-site.xml 里缺少如下配置,这是关于HA的<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop...转载 2018-05-16 22:43:51 · 3450 阅读 · 0 评论 -
userdel删除用户时候提示:userdel: user xx is currently logged in
创建新用户后,想删除,使用 userdel xx 删除,结果出现userdel: user xx is currently logged in 的提示,其结果是无法删除,可以使用 sudo userdel -r -f xx 加两个参数,给他强制删除,之后可能出现警告:userdel: warning: can't remove /var/mail/wxt: No such fil...原创 2018-05-03 13:32:24 · 1595 阅读 · 0 评论 -
linux环境下安装nginx步骤
开始前,请确认gcc g++开发类库是否装好,默认已经安装。 ububtu平台编译环境可以使用以下指令apt-get install build-essentialapt-get install libtool centos平台编译环境使用如下指令 安装make:yum -y install gcc automake autoconf libtool make 安装g++:yum ins...转载 2018-05-09 15:39:32 · 134 阅读 · 0 评论 -
FATAL namenode.NameNode: Exception in namenode join java.lang.ExceptionInInitializerError
hadoop namenode -format的时候出现了这个问题“[hadoop@hadoop02 app]$ hadoop namenode -formatDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs...转载 2018-04-11 21:46:23 · 348 阅读 · 0 评论 -
CentOS下安装JDK的三种方法
由于各Linux开发厂商的不同,因此不同开发厂商的Linux版本操作细节也不一样,今天就来说一下CentOS下JDK的安装:方法一:手动解压JDK的压缩包,然后设置环境变量1.在/usr/目录下创建java目录[root@localhost ~]# mkdir/usr/java[root@localhost ~]# cd /usr/java2.下载jdk,然后解压[root@localhost j...转载 2018-04-11 14:29:01 · 115 阅读 · 0 评论 -
运维中的日志切割操作梳理(Logrotate/python/shell脚本实现)
对于Linux系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本,大家似乎遗忘了Logrotate,争相发明自己的轮子,这真是让人沮丧啊!就好比明明身边躺着现成的性感美女,大家却忙着自娱自乐,罪过!logrotate程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到“转储”作...转载 2018-03-28 09:22:02 · 157 阅读 · 0 评论 -
Linux 通过crontab 分割tomcat日志
tomcat的catalina日志果断时间就会超大,无法进行查看,网上有很多种日志分割方法。本文主要研究通过linux的crontab定时任务分割tomcat日志的步骤:首先准备sh执行脚本以下脚本为分割log_path下的catalina.out日志,将该日志挪移到log_path/cron目录下并重命名为catalina.out.当前日期.log#!/bin/sh#需要进行分割log的路径,...转载 2018-03-27 09:40:34 · 311 阅读 · 0 评论 -
tomcat日志自动分割(linux)
在Linux系统下,tomcat日志catalina.out并不会像window系统下,按日期进行重写备份,因此在Linux系统下会造成日志文件过大的情况,本文介绍采用 cronolog工具进行如在window下的效果,做到按日期自动分割日志,过程如下: 1.在Linux安装cronolog,本文中采用的是cronolog-1.6.2版本 [root@Test sr...转载 2018-03-27 09:36:42 · 1273 阅读 · 0 评论 -
tomcat日志自动分割(linux)
今天在tomcat上查看项目日志的时候,发现catalina.out文件竟然已经达到202M了,决定做一下日志的分割.先看了一下crontab任务中,发现有个删除前10天日志的自动任务,但是没有发现切割的自动任务. 搜了一下,据说tomcat有默认的日志分割...转载 2018-03-27 09:13:27 · 237 阅读 · 0 评论 -
linux下用logratate进行日志分割处理
服务器上的tomcat的catalina.out文件越来越大,查看起来很不方便,以前每次都是想起来的时候手工清理一下(cat /dev/null > catalina.out), 后来发现了logratate这个工具,Ubuntu下的mysql,nginx好像也是用的这个工具还定期整理log的。配置文件为/etc /logrotate.conf,和很多其它ubuntu下的工具一下,也可以把配...转载 2018-03-23 17:17:48 · 1310 阅读 · 0 评论 -
Linux split命令实例
你曾经是否想要把一个大文件分割成多个小文件?比如一个5gb日志文件,我们需要把它分成多个小文件,这样我们才有可能使用普通的文本编辑器读取它。有时我们需要传输20gb的大文件到另一台服务器,这就需要我们把它分割成多个文件,这样便于传输数据。下面我们来通过五个实例来讲解它。实例1、以每个文件1000行分割split命令分割文件成每个文件1000行,并且文件名依次为 [前缀]aa, [前缀]ab, [前...转载 2018-03-23 17:07:39 · 147 阅读 · 0 评论 -
用户权限 文件或目录权限
Linux用户权限 在Linux操作系统中,root的权限是最高的,相当于windows的administrator,拥有最高权限,能执行任何命令和操作,在Linux系统中,通过UID来区分用户的权限级别,UID等于0,表示此用户具有最高权限,也就是管理员,其他的用户UID依次增加,通过/etc/passwd用户密码文件可以查看每个用户的独立UIDLinux文件或目录的用户、组、其他人权限 ...转载 2018-04-12 10:09:01 · 289 阅读 · 0 评论 -
Linux用户组、用户及权限详解分析
在linux中的每个用户必须属于一个组,不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念所有者一般为文件的创建者,谁创建了该文件,就天然的成为该文件的所有者用ls ‐ahl命令可以看到文件的所有者也可以使用chown 用户名 文件名来修改文件的所有者文件所在组当某个用户创建了一个文件后,这个文件的所在组就是该用户所在的组用ls ‐ahl命令可以看到文件的所有组也可以使用chgr...转载 2018-04-12 10:15:13 · 3724 阅读 · 0 评论 -
Linux 下添加用户,修改权限
# useradd –d /usr/sam -m sam此命令创建了一个用户sam,其中-d和-m选项用来为登录名sam产生一个主目录/usr/sam(/usr为默认的用户主目录所在的父目录)。假设当前用户是sam,则下面的命令修改该用户自己的口令:# passwdOld password:******New password:*******Re-enter new password:******...转载 2018-04-12 10:22:45 · 230 阅读 · 0 评论 -
nginx无法启动: libpcre.so.1/libpcre.so.0: cannot open shared object file解决办法
NGINX启动时提示错误:/usr/local/nginx/sbin/nginx -t/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directoryldd $(which /usr/lo...转载 2018-05-09 15:38:31 · 1235 阅读 · 0 评论 -
Linux下安装Redis
redis官网地址:http://www.redis.io/ 最新版本:2.8.3 在Linux下安装Redis非常简单,具体步骤如下(官网有说明): 1、下载源码,解压缩后编译源码。$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzf redis-2.8.3.tar.gz$ cd red...转载 2018-05-09 13:51:56 · 137 阅读 · 0 评论 -
hive使用mysql作为元数据库时的编码问题
hive的Specified key was too long; max key length is 767 bytes问题解决解决一: FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creatingalidating the datastore for clas...转载 2018-05-09 11:22:55 · 573 阅读 · 0 评论 -
使用sqoop将mysql数据导入到hadoop
Sqoop的安装也很简单。完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231结果如下即说明sqoop已经可以正常使用了。...转载 2018-05-09 11:20:50 · 1363 阅读 · 0 评论 -
linux sudo 命令
简单的说,sudo 是一种权限管理机制,管理员可以授权于一些普通用户去执行一些 root 执行的操作,而不需要知道 root 的密码。严谨些说,sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然,能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策略,并能把输入输出写入日志。第三方可以开发并发布自己的安全策略和输入输出日志插件,并让它们无缝的和 sud...转载 2018-04-12 22:25:24 · 123 阅读 · 0 评论 -
Hadoop Mapreduce Error Input path does not exist: hdfs://localhost:54310/user/hduser/input"
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/inputhduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s...原创 2018-04-12 19:35:30 · 3174 阅读 · 1 评论