Aurora Silent

原创 Hive UDAF

UDAF是用户自定义聚合函数。Hive支持其用户自行开发聚合函数完成业务逻辑。从实现上来看，Hive的UDAF分为两种：Simple。即继承org.apache.hadoop.hive.ql.exec.UDAF类，并在派生类中以静态内部类的方式实现org.apache.hadoop.hive.ql.exec.UDAFEvaluator接口。这种方式简单直接，但是在使用过程中需要依赖JA...

原创 Hadoop HDFS操作命令

Hadoop HDFS操作命令查看Hadoop HDFS支持的所有命令hadoop fs列出目录及文件信息hadoop fs -ls循环列出目录、子目录及文件信息hadoop fs -lsr将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs -put test.txt /user/sunlightcs将HDFS...

原创 Nodejs fs模块方法图鉴

原创 使用Nodejs完成文件操作代码集合

Nodejs实现文件操作的代码集合最近有一个小项目需要做一个桌面程序，所用使用了 Electron-vue + nodejs进行开发，借此机会学习了一下nodejs的一些操作，因为以前长时间做后端工作，对于nodejs也是只是了解，没有正儿八经的使用过，这里就总结一下自己写的一些文件操作代码，留个备份吧~注意：下面方法中会出现相互引用的情况，所以如果那个方法中引用了其他方法，可查询一下，都在...

转载 SpringBoot整合Swagger生成文档

Swagger可以动态的生成API文档，方便程序员在开发的同时更新API的文档信息，简化了工作。原生的Swagger需要通过配置两到三个pom配置项，然后编写配置类进行配置。原生Swagger搭建可参考下面这两篇文档：SpringBoot整合Swagger2Swagger注解后台在网上搜整合框架的时候发现有大神整合了SpringBoot与Swagger。所以这里记录一下。sprin...

转载 Linux Vi/Vim常用操作命令

1 进入vi/vim文本编辑器的命令vi filename:打开或新建文件，并将光标置于第一行行首的位置vi +n filename: 打开文件，并将光标置于第n行的位置vi + filename: 打开文件，并将光标置于最后一行的位置vi +/pattern filename: 打开文件，并将光标置于第一个与pattern匹配的行首vi -r filena...

原创 Linux查看文件内容

cat file1 从第一个字节开始正向查看文件的内容 tac file1 从最后一行开始反向查看一个文件的内容 more file1 查看一个长文件的内容 less file1 类似于 'more' 命令，但是它允许在文件中和正向操作一样的反向操作 head -2 file1 查看一个文件的前两行 tail -2 file1 查看一个文件的最后两行 ...

原创 Linux打包及解压缩文件

bunzip2 file1.bz2 解压一个叫做 'file1.bz2'的文件 bzip2 file1 压缩一个叫做 'file1' 的文件 gunzip file1.gz 解压一个叫做 'file1.gz'的文件 gzip file1 压缩一个叫做 'file1'的文件 gzip -9 file1 最大程度压缩 rar a file1.rar test...

原创 Linux 用户相关操作命令

创建一个新用户组groupadd 组名称删除一个用户组 groupdel 组名称重命名一个用户组groupmod -n 新组名 老组名创建一个新用户useradd 用户名删除一个用户 ( ‘-r’ 排除主目录) userdel -r user1更改当前用户密码passwd修改一个用户的口令 (只允许root执行) passwd...

原创 通过XML、注解配置MyBatis SQL映射器

SpringBoot配置MyBatis在 SpringBoot整合MyBatis开发 这篇文章中已经描述了，这篇文章主要讲解一些SQL映射器中的写法及常用标签。定义xml映射文件<mapper namespace="com.test.springboot.mybatis.dao.UserMapper"> <resultMap id="AddressRes...

原创 SpringBoot整合MyBatis开发

pom.xml配置<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId&gt

原创 基于Kubernetes安装Jenkins并配置操作环境

一、 安装并配置Kubernetes集群本文中使用的kubernetes集群是1.8.0版本。具体安装配置步骤可查看这篇文章：Kubernetes1.8.3 集群环境搭建（CentOS）。二、安装Jenkins生成自定义Jenkins master镜像原始的Jenkins master镜像并不符合我们当前需求，所以在原始镜像的基础上做了一些改变，这一步并不是必须的，主要是看具体...

原创 sshpass命令使用

1、直接远程连接某主机sshpass -p {密码} ssh {用户名}@{主机IP}2、远程连接指定ssh的端口sshpass -p {密码} ssh -p ${端口} {用户名}@{主机IP} 3、从密码文件读取文件内容作为密码去远程连接主机sshpass -f ${密码文本文件} ssh {用户名}@{主机IP} 4、从远程主机上拉取文件到本地sshpass ...

原创 flannel + etcd + docker 环境中双网卡问题

在开启iptables或防火墙的情况下，安装配置好kubernetes集群之后，有可能会出现节点之间网络不通的问题，导致无法访问到别的节点的Pod，这种问题可能的原因就是flannel配置网络时默认使用的是第一张网卡，可能为外网网卡，因此这时访问别的节点时会被阻隔掉。因此，需要更改为内网网卡。更改方法1：打开文件：/etc/sysconfig/flanneldvim /etc/sy

原创 jquery动态生成form表单并提交

button onclick="toDetailPage(this, '1234', 'test')">测试button>script type="text/javascript" language="javascript">function toDetailPage(object, uid, namespace) { var form = $(""); form.attr({

原创 开启iptables情况下Swarm、kubernetes等组件正常工作的配置

在测试环境下安装Swarm、Kubernetes集群时，一般都是把防火墙、iptables关闭的，这样做是为了避免不必要的问题，以便顺利完成部署和测试。然而。。到了正式环境下，防火墙、iptables都是开启的，那么在Swarm、Kubernetes这类集群的互通上就会出现一些问题，各个节点之间的访问可能会被阻隔。我采用的解决方式时在iptables表中添加一些配置规则，以便能够允许集群的请求通过，

原创 Heapster -- Kubernetes Dashboard集成Heapster

原始kubernetes dashboard的界面中仅显示了pod一些配置信息，无法图形化展现集群度量指标信息。原始图如下（此处从网上找了一个图..）：而如果要展示图形化的集群度量指标信息，就需要安装一个dashboard插件：heapster。Heapster原生支持K8s(v1.0.6及以后版本)和CoreOS，并且支持多种存储后端，比如：InfluxDB、ElasticSearch、Kafka

原创 Kubernetes dashboard1.8.0 WebUI安装与配置

kubernetes-dashboard.yamlapiVersion: v1kind: ServiceAccountmetadata: labels: k8s-app: kubernetes-dashboard addonmanager.kubernetes.io/mode: Reconcile name: kubernetes-dashboard namespac

原创 Kubernetes1.8.3 集群环境搭建（CentOS）

部署环境此次部署kubernetes1.8.3版本使用两台机器进行操作，一台做为Master节点，一台作为Node节点。部署流程及配置与正式环境下是一致的。Kubernetes Master节点：10.0.11.222Kubernetes Node节点：10.0.11.221部署软件CentOS：CentOS 7.3Docker：17.03.2-ceKubernet...

原创 Nvidia-Docker安装使用 -- 可使用GPU的Docker容器

nvidia-docker是一个可以使用GPU的docker，nvidia-docker是在docker上做了一层封装，通过nvidia-docker-plugin，然后调用到docker上，其最终实现的还是在docker的启动命令上携带一些必要的参数。因此在安装nvidia-docker之前，还是需要安装docker的。docker一般都是使用基于CPU的应用，而如果是GPU的话，就需要安装特有的

原创 Portainer -- Docker可视化管理工具的安装配置及使用

Portainer介绍Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。下载Portainer镜像# 查询当前有哪些Portainer镜像docke

原创 Harbor -- 搭建Docker私有仓库

Harbor 介绍Docker容器应用的开发和运行离不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。环境、软件准备Linux

原创 Swarm -- 搭建Docker集群

Swarm介绍Docker自诞生以来，其容器特性以及镜像特性给DevOps爱好者带来了诸多方便。然而在很长的一段时间内，Docker只能在单host上运行，其跨host的部署、运行与管理能力颇受外界诟病。跨host能力的薄弱，直接导致Docker容器与host的紧耦合，这种情况下，Docker容器的灵活性很难令人满意，容器的迁移、分组等都成为很难实现的功能点。Swarm是Docker公司在2014年

原创 Shipyard -- Docker可视化管理工具安装与配置

镜像准备// Shipyard使用到的数据库，用于数据存储docker pull docker.io/rethinkdb// 使用Swarm管理Docker集群docker pull docker.io/swarm// Shipyard镜像docker pull docker.io/shipyard/shipyard安装启动rethinkdbdocker run -ti -d \ --

原创 Kubernetes Service配置信息详解

Service是kubernetes最核心的概念，通过创建Service，可以为一组具有相同功能的容器应用提供一个统一的入口地址，并且将请求进行负载分发到后端的各个容器应用上。Service服务是一个虚拟概念，逻辑上代理后端pod。众所周知，pod生命周期短，状态不稳定，pod异常后新生成的pod ip会发生变化，之前pod的访问方式均不可达。通过service对pod做代理，service有固定的

原创 Kubernetes dashboard1.5.2 Web UI搭建

kubernetes-dashboard是官方提供的用户管理Kubernetes集群可视化工具。通过这个后台可以可视化的创建应用。部署kubernetes-dashboard其实和在kubernetes部署其他的应用一样，创建dashboard所需的Replication Controller、Service服务即可。下载kubernetes-dashboard通过docker search命令查看

原创 解决pod创建成功但未正常启动的问题：pod-infrastructure镜像下载失败

在创建kubernetes-dashboardpod时，发现能够成功创建kubernetes-dashboardpod，但是查看pod状态时发现并没有，从node节点上也没有发现该pod的运行。经过通过的排查过程，发现是pod-infrastructure镜像下载失败，导致pod启动失败。pod-infrastructure镜像下载配置打开/etc/kubernetes/kubelet配置文件。vi

原创 使用自签名证书配置TLS搭建安全的Docker本地私有库

编辑openssl.cnf文件openssl.cnf 文件位置：/etc/pki/tls/openssl.cnf编辑/etc/pki/tls/openssl.cnf文件，在 [v3_ca]下增加一行：[ v3_ca ] subjectAltName = IP:192.168.169.125 # 此处IP设置为Docker本地私有库所在主机IP然后使用openssl命令在当前的certs目录下创

原创 Docker Kubernetes1.5.2集群环境搭建（CentOS）

部署环境由于是测试搭建kubernetes集群环境，所以我只用了两台机器进行，一台用作Master节点，一台用作Node节点。不过原理上是一样的，即使加机器，搭建步骤也是一样的。Kubernetes Master节点：10.0.11.150Kubernetes Node节点：10.0.11.152部署软件docker：1.12.6kubernetes：1.5.2CentOS：7.3关闭防火墙在每台机

原创 linux网络设置及解决无法连接网络

linux上设置网络需要设置 IP、子网掩码、网关、DNS等。设置正确才可访问网络，否则会出现无法联网的问题。下面会写出如何设置IP等信息，如何处理路由表等操作。设置网卡信息网卡配置一般都会放置在/etc/sysconfig/network-scripts/目录下，我们可以cd到该目录下看看有哪些东西cd /etc/sysconfig/network-scripts/在这个目录里这四个代表的就是四块

原创 Docker CE安装

Ubuntu 环境安装Ubuntu 下使用apt-get进行安装安装最新版// 1. 安装必要的一些系统工具sudo apt-get updatesudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common// 2. 安装GPG证书curl -fsSL http://mir

原创 Docker 镜像加速器

我们使用Docker的第一步，应该是获取一个官方的镜像，例如mysql、wordpress，基于这些基础镜像我们可以开发自己个性化的应用。我们可以使用Docker命令行工具来下载官方镜像。但是因为网络原因，我们下载一个300M的镜像需要很长的时间，甚至下载失败。因为这个原因，阿里云容器Hub服务提供了官方的镜像站点加速官方镜像的下载速度。使用镜像加速器这里我们使用阿里云镜像加速器。当你的docker

原创 Cannot start container web: iptables failed: iptables -t nat -A DOCKER -p tcp -d 0/0 --dport 32797

docker启动容器时会出现标题所示的报错：Error response from daemon: Cannot start container web: iptables failed: iptables -t nat -A DOCKER -p tcp -d 0/0 –dport 32797 -j DNAT –to-destination 172.17.0.30:5000 ! -i docker0

原创 CentOS7下快速安装MySQL

CentOS 7的yum源中貌似没有正常安装MySQL时的mysql-sever文件，需要去官网上下载。安装mysql依次执行下面的命令wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpmyum install my

原创 Docker CentOS服务器搭建本地私有仓库

安装Docker// 仅此一条命令就可以搞定yum -y install docker-io// 启动Docker // 同理，stop、restart意味着停止、重启Dockerservice docker start// 加入开机启动chkconfig docker on搭建私有库服务// 这里下载registry 2.5.0版本docker pull registry:2.5.0//

原创 Docker实现CentOS容器SSH远程登录

这里根据Dockerfile方式构建一个CentOS的可远程SSH的镜像。Dockerfile文件在/data/test/sshd_centos/目录下新建Dockerfile文件。注意：目录可以自行设定，但目录下除了Dockerfile文件外建议不要放置别的文件和目录。vim Dockerfile# 生成的新镜像以centos镜像为基础FROM centos# 指定作者信息MAINTAINE

原创 Docker 安装、操作常用命令

Docker安装命令Linux安装Docker// 仅此一条命令就可以搞定yum -y install docker-io// 启动Docker // 同理，stop、restart意味着停止、重启Dockerservice docker start// 加入开机启动chkconfig docker on安装docker-composepip ins

原创 解决点击Docker出现windows 正在查找bash.exe。如果想亲自查找文件，请点击“浏览”的问题

window7下安装DockerToolbox时，安装成功后，双击桌面的Docker Quickstart Terminal快捷方式： 会出现以下弹框： 可以猜测到时快捷方式所指定的路径不对（因为本人在安装Docker前已经安装好git了，原因就出在这）。解决方法邮件点击这个图标，点击属性，出现下面的图：在目标 这一个选项处需要填写正确的 Git bash.exe文件位置来启动docker st

原创 解决启动Docker时Oracle VM VirtualBox启动失败的问题

Windows下在使用DockerToolbox安装好Docker之后，会附带安装一个 Oracle VM VirtualBox 程序。当我们点击Oracle VM VirtualBox，可能会出现如下报错：Failed to instantiate CLSID_VirtualBox w/ IVirtualBox, but CLSID_VirtualBox w/ IUnknown解决方法：修改注册表

原创 SpringBoot 实现Filter过滤器

SpringBoot实现过滤器和SpringMVC上实现没有多大差别，主要的差别就是在过滤器注册上，SpringMVC是通过XML配置文件注册过滤器，而SpringBoot则是通过代码注解的形式进行注册。下面一起看下在SpringBoot上怎么实现Filter过滤器吧。Filter过滤器具体实现类/** * 权限验证过滤器 */public class AuthFilter implement