秋风小凉鱼-CSDN博客

原创 Hive Thrift Server

Thrift 允许客户端使用包括Java、C++、Ruby和其他很多种语言，通过编程的方式远程访问Hive 一、启动Thrift Server通过如下命令启动 Thrift Server[hadoop@s201 ~]$hive --service hiveserver2 &启动之后，使用jps 命令可以看到对应的进程RunJar同时可以使用netstat 命令查看...

2018-08-30 19:08:58 7504

原创 Hive 导出数据按逗号分隔

1、若数据文件格式恰好是用户需要的格式，只需简单的使用hdfs 命令copy即可 hadoop fs - cp source_path target_path 2 、使用 INSERT .... DIRECTORY.... ,如下面例子所示:INSERT OVERWRITE LOCAL DIRECTORY '/home/hadoop/stu'SELECT ID,NAME,AG...

2018-08-30 16:03:24 6858

原创 Hive 分区表

Hive 分区表创建hive> CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year INT, Month INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;OKTime taken: 0.147 seconds查看表的结构信息hive>...

2018-08-30 14:02:18 1217

原创 Hive 的管理表和外部表

一、创建表hive 中可以按照如下方式创建hive 表.create table if not exists ts.t1 ( name string comment '学生姓名', score float comment '学生分数', address struct<street:string ,city:string,state:string,zip:int&...

2018-08-30 10:46:51 992

原创 Hive 删除包含表的数据库

当删除一个hive 数据库时，若该数据库时包含表，则会提示不能删除。hive> drop database test;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database test...

2018-08-30 09:38:16 5149

原创 Hive 查找属性

可以使用如下命令查找特定的属性配置hive -S -e "set" | grep warehouse[hadoop@s201 ~]$hive -S -e "set" | grep warehouseSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/soft/apa...

2018-08-30 09:30:24 564

原创 Hive DML 语句操作报错

按照MySQL 方式创建的表，hive> desc tt;OKid int name string age int ...

2018-08-30 08:36:00 648

原创 Hive 删除表报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

操作Hive 的时候报错，提示如下：hive> drop table toss1;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Exception thrown when executing query : SELE...

2018-08-29 20:26:49 2690

原创 The DispatcherServlet configuration needs to include a HandlerAdapter that supports this handler

今天使用Spring mvc 尝试文件的上传下载，URL 访问的时候，报如下错误:Type Exception ReportMessage No adapter for handler [com.cbss.FileUploadController@16d4015]: The DispatcherServlet configuration needs to include a HandlerAd...

2018-02-28 14:12:12 4510

原创 Log4j maven依赖配置

做项目的时候，经常需要给应用打印日志，LOG4J是我们的不二选择，项目管理使用maven构建时，pom.xml配置如下  <dependency> <groupId>log4j</groupId> <artifactId>...

2017-08-27 15:42:10 34344 4

原创无法找到会话标识符。启用检查 PLUSTRACE 角色

SP2-0618: 无法找到会话标识符。启用检查 PLUSTRACE 角色 SP2-0611: 启用 STATISTICS 报告时出错解决方案：在sqlplus中以管理员省份，执行oracle中的这个文件： @C:\oracle\product\10.2.0\db_2\sqlplus\admin\plustrce.sql然后就可以查看执行计划了。但是如果是其他用户要查看执行计划一定要将角色给

2017-06-29 21:40:39 779

原创 log4j日志文件默认存放路径

log4j.properties文件中指定日志输出的路径log4j.appender.A2.File=logs/pm.log使用weblogic部署项目应用时，这个相对路径是相对于weblogic domain路径，如你的domain叫base_domain ，则该日志文件在base_domain/logs 目录下。应用开始日志输出时，会自动创建pm.log文件. 下面贴下，完整的log4j.p

2017-06-13 17:07:47 36072 2

原创使用Docker搭建GitLab

使用docker-compose快速启动GitLab.(当然前提是你先安装docker-compose，安装方式见博客：http://blog.csdn.net/yulei_qq/article/details/52985550.)wget https://raw.githubusercontent.com/sameersbn/docker-gitlab/master/docker-compose

2017-01-10 22:32:17 9239 2

原创使用Linux脚本更新Weblogic部署的应用程序

在利用Jenkins实现Weblogic应用自动部署的功能时，如何通过Shell 脚本自动更新Weblogic部署的应用程序呢？可以使用weblogic.jar包中的weblogic.Deployer这个class 。命令如下：java weblogic.Deployer -adminurl t3://192.168.142.136:47001 -user weblogic -password w

2016-11-24 11:38:34 5074 1

原创 CentOS7.2安装Weblogic12c出现的问题

在安装到Prerequisite Checks 时，会进行操作系统版本的校验，即checking operating system certification。此处操作系统版本会校验不过去，如下如：解决方案：修改/etc/redhat-release文件su rootcp /etc/redhat-release /etc/redhat-release.backupcat > /etc/

2016-11-23 17:13:36 2783

转载 Linux系统中查询发行版本号以及内核版本的命令总结

了解Linux发行版本的版本号是一项非常重要的事情，大多数软件对系统的版本都有要求，发行版本号与软件不匹配，软件将无法安装或者无法使用.这边集合市面上流行的Linux发行版本版本号查询方法.有了这边文章，老板再也不担心我装错软件了呢一、发行版本号查询1.Debian版本查询:复制代码代码如下:# cat /etc/debian_version5.0.7# cat /etc/issueDebian

2016-11-23 14:42:05 14810

原创 Docker容器时间与宿主机时间不一致

编写Dockerfile，在其中加入：RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \ && echo 'Asia/Shanghai' >/etc/timezone 然后根据你自定义的Dockerfile重新build生成镜像，使用该镜像启动生成新的容器进入该容器中，使用date查看日期时间：[root@local

2016-11-19 11:37:17 4079 1

转载 Docker Volume 之权限管理（一）

摘要： Volume数据卷是Docker的一个重要概念。数据卷是可供一个或多个容器使用的特殊目录，可以为容器应用存储提供有价值的特性。然而Docker数据卷的权限管理经常是非常令人困惑的。本文将结合实例给大家介绍Docker数据卷权限管理中的常见问题和解决方法。Volume数据卷是Docker的一个重要概念。数据卷是可供一个或多个容器使用的特殊目录，可以为容器应用存储提供有价值的特性：持久化数据与

2016-11-19 11:25:07 9053 6

原创 GitLab服务器IP地址设置

最近使用GitLab 搭建了Git的私有仓库，但是发现私有仓库的地址居然是localhost，不是本机的IP地址，最后百度了一下，找了很久才找到，特此记录一下.首先说明一下，我linux虚拟机的IP地址是192.168.142.134. 1、在GitLab上新建一个项目test_gitlab，刚开始仓库地址是http://localhost/yulei/test_gitlab.git .把loca

2016-11-11 22:49:41 36642 2

原创 CentOS7下安装GitLab

三步在CentOS7系统下，完成GitLab的安装.1、安装和配置必须的依赖sudo yum install curl policycoreutils openssh-server openssh-clientssudo systemctl enable sshdsudo systemctl start sshdsudo yum install postfixsudo systemctl

2016-11-04 11:58:14 6474 1

原创 Docker学习笔记4: Docker-Compose—简化复杂容器应用的利器

本文转载自http://www.tuicool.com/articles/AnIVJn. 因Python语言，个人也没学过，不是太熟悉，这篇文章的格式让我走了好多坑，不过还是要感谢原文作者。在CentOS7系统上安装了dokcer-compose之后，我们以一个小例子来熟悉一下这个工具的使用.Docker-Compose使用使用Compose只需要简单的三个步骤：首先，使用Dockerfile来定

2016-10-31 22:20:29 8657 2

原创 Docker学习笔记3：CentOS7下安装Docker-Compose

Docker Compose是一个部署多个容器的简单但是非常必要的工具.安装Docker-Compose之前，请先安装 python-pip，请参考我的另一篇博文CentOS7下安装python-pip .安装好pip之后，就可以安装Docker-Compose了.在linunx终端执行：pip install docker-compose.执行完之后，输入docker-compse，报如下错误：

2016-10-31 19:58:29 26242

原创 CentOS7下安装python-pip

在使用Docker的时候，有一个工具叫做 docker-compose，安装它的前提是要安全pip工具.1、首先检查linux有没有安装python-pip包，直接执行 yum install python-pip2、没有python-pip包就执行命令 yum -y install epel-release(3)、执行成功之后，再次执行yum install python-pip(4)、对安装

2016-10-31 17:46:46 104797 8

原创 JavaScript没有块级作用域

JavaScript没有块级作用域经常会造成理解上的困惑。在其他语言中，由花括号封闭的代码块都有自己的作用域（如果用ECMAScript的话来讲，就是它们自己的执行环境），因而支持根据条件来定义变量。

2016-10-22 11:25:02 1019

原创 Weblogic 12c 负载均衡和session复制

在上一篇，我们介绍了weblogic集群的部署和session的复制，如何将请求负载均衡到这个三个服务器上呢?这里提供两种方式：（1）weblogic自带的proxy代理 (2) nginx实现负载均衡一、weblogic的proxy实现负载均衡1、创建proxy_server服务创建完成后，proxy_server关联计算机machine，这样可以通过节点管理器启动该服务.2、创建

2016-10-10 21:25:12 13199 2

原创 Weblogic 12c 集群部署和session复制

在上一篇Weblogic12c集群搭建的基础上，这一篇介绍Weblogic12c集群应用的部署和session复制.1、启动服务首先在weblogic12c控制台，启动受托管服务server1、server2、server3.2、将要部署的应用打包成war文件.我用的是MyEclipse做的开发，可以用其自带的工具把项目应用打包成war包.右键工程--->Export-->搜索框输入war，选择W

2016-10-10 17:30:47 6125 3

原创 Weblogic 12c 集群环境搭建

本文是在windows7操作系统下配置的，jdk版本1.7 ，weblogic版本12.1.3.0.0.搭建集群前的规划其中AdminServer是总控制端，server1、server2、server3是集群中的三个服务节点.1、配置AdminServer.AdminServer作为weblogic集群的总控制端. 一般我们单机默认搭建的weblogic domain服务就是AdminServ

2016-10-10 09:42:15 18090

原创 nginx+tomcat负载均衡和session复制

本文介绍下传统的tomcat负载均衡和session复制. session复制是基于JVM内存的，当然在当今的互联网大数据时代，有更好的替代方案，如将session数据保存在Redis中. 1、安装Nginx 首先下载nginx，我下载的版本是1.11.4版本 .http://nginx.org/download/nginx-1.11.4.zip .

2016-10-08 20:11:42 6638 8

原创 Tomcat7源码环境搭建

一、下载Tomcat7源码从官网上下载Tomcat源码， http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.70/src/apache-tomcat-7.0.70-src.zip 下载之后，将源码解压后重名为tomcat-src，放在E盘的tomcat7目录下. 二

2016-09-05 23:27:45 4885 1

原创 Quartz概述

Quartz是开源任务调度框架中的翘楚，它提供了强大的任务调度机制。Quartz允许开发人员灵活的定义触发器的调度时间表，并可对触发器和任务进行关联映射。此外，Quartz提供了调度运行环境的持久化机制，可以保存并恢复调度现场，即使系统因故障关闭，任务调度现场数据并不会丢失。此外，Quartz还提供了组件式的侦听器、各种插件、线程池等功能。一、Quartz基础结构...

2016-09-04 11:42:17 2592

原创 Docker学习笔记2: Docker 概述

一、什么是Docker Docker是基于Go语言实现的云开源项目. Docker 的主要目标是："Bulid,Ship and Run Any App ,AnyWhere" ，即通过对应用组件的封装、分发、部署、运行等生命周期的管理，达到应用组件级别的"一次封装，到处运行"。这里的应用组件，即可以是一个Web应用，也可以使一套数据库服务，甚至是一个操作系统或编译器.

2016-09-02 15:45:02 1788 1

原创 Docker学习笔记1：CentOS7 下安装Docker

本文内容摘自官网：https://docs.docker.com/engine/installation/linux/centos/#/create-a-docker-group注：本文是介绍Linux 上的分布式版本CentOs上安装.一、安装前的准备工作Docker 需要安装在64位系统的CentOS上，而且linux内核至少在3.10版本以上，这个版本的内核在CenOS7上运行.

2016-08-23 10:52:13 8349

翻译 Redis集群教程(Redis cluster tutorial)

本博文翻译自Redis官网：http://redis.io/topics/cluster-tutorial 本文档以温和的方式介绍Redis集群，不使用复杂的方式来理解分布式系统的概念. 它介绍了如何建立、测试和使用一个集群，没有详细的覆盖Redis集群说明书 ,只是从用户的角度描述了系统的特性.

2016-08-10 16:32:05 2930 1

原创 Kafka学习笔记2: 快速入门

在开始Kafka环境搭建之前，首先要安装Linux系统，并在Linux系统上安装JDK1.8版本，关于linux虚拟机的安装和linux系统下jdk的安装可以参考我的博文：http://blog.csdn.net/yulei_qq/article/details/52132536 linux 虚拟机安装http://blog.csdn.net/yulei_qq/article/

2016-08-07 13:25:58 1419 2

原创 Kafka学习笔记1：概念

一、简介Apache Kafka是一个分布式的消息系统，作为一个分布式的日志提交服务.Kafka 是一个分布式的、可分区的、可复制的日志提交服务. 它提供了功能性的消息系统，有它自己独特的设计.这一切是什么意思呢？首先我们来回顾一些Kafka基本的消息术语：每条发布到Kafka集群的消息都有一个类别，这个类别被称为 Topic.负责向Kafka Topic发布

2016-08-06 09:31:48 1232

原创 Win7下安装linux虚拟机

关于如何在Win7下搭建linux学习环境，特在此分享下.一、工具 1、 VMware-workstation-full-9.0.0-812388.exe 下载地址:http://pan.baidu.com/s/1bpFT0ZX 2、32位的CenOS系统镜像文件CentOS-6.7-i386-bin-DVD1.iso. 下载地

2016-08-05 21:58:19 8603 8

转载数字签名与数字证书

前言先看一下百度百科对数字签名和数字证书的解释：数字签名：将报文按双方约定的HASH算法计算得到一个固定位数的报文摘要。在数学上保证：只要改动报文中任何一位，重新计算出的报文摘要值就会与原先的值不相符。这样就保证了报文的不可更改性。将该报文摘要值用发送者的私人密钥加密，然后连同原报文一起发送给接收者，而产生的报文即称数字签名数字证书：

2016-07-26 18:02:10 886

原创 Redis 学习笔记4： Redis 3.2.1 集群搭建

在CenOS 6.7 linux环境下搭建Redis 集群环境1、下载最新的Redis版本本人下载的Redis版本是3.2.1版本，下载之后，解压，编译(make)；具体操作可以参考我的博文：Redis 学习笔记1：CentOS 6.7下安装Redis

2016-07-21 12:01:53 6356

原创 Redis 学习笔记3：Jedis 连接虚拟机下的Redis 服务

Jedis 是 Redis 官方首选的 Java 客户端开发包。虚拟机的IP地址是192.168.8.88.Jedis代码是放在windows上的，启动虚拟机上的Redis服务之后，用Jedis连接。以下是Jedis 操作Redis的简单示例，直接贴代码. 代码中的密码是在虚拟机Redis客户端设置的，居然见下面的注意事项.package com.test;i

2016-07-19 13:52:03 10149

原创 Redis 学习笔记2：redis.conf配置文件详解

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf。参数说明：参数说明redis.conf 配置项说明如下：1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文

2016-07-19 11:51:54 983