- 博客(28)
- 资源 (4)
- 收藏
- 关注
翻译 shell
目录1.指定脚本解析器2."" 与’’ 及``区别3.定义变量4.将命令的结果赋值给变量5.只读变量6.使用 unset 命令可以删除变量。语法:7.变量作用域全局变量环境变量8.shell位置参数shell脚本传递参数方法传递参数特征变量$@ 与 $* 区别shell脚本部分参照:Linux Shell脚本学习指南http://c.biancheng.net/shell/进行学习,过程中对脚本进行编写运行,部分脚本粘贴出执行结果。1.指定脚本解析器#!/bin/bash
2021-08-31 17:33:44 126
原创 Azkaban
第1章 Azkaban概论1.1 为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:Shell脚本程序,Java程序,MapReduce程序、Hive脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;1.2 常见工作流调度系统1)简单的任务调度:直接使用Linux的Crontab来定义;2)复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如Ooize、Azkaban、 Airfl
2021-08-31 17:21:55 1170
原创 时钟同步配置
时钟同步配置master# For more information about this file, see the man pages# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).driftfile /var/lib/ntp/drift# Permit time synchronization with our time source, but do not# permit the
2021-07-26 16:57:21 457
原创 Scala特质trait
Scala特质章节目标能够使用trait独立完成适配器, 模板方法, 职责链设计模式能够独立叙述trait的构造机制能够了解trait继承class的写法能够独立完成程序员案例1. 特质入门1.1 概述有些时候, 我们会遇到一些特定的需求, 即: 在不影响当前继承体系的情况下, 对某些类(或者某些对象)的功能进行加强, 例如: 有猴子类和大象类, 它们都有姓名, 年龄, 以及吃的功能, 但是部分的猴子经过马戏团的训练后, 学会了骑独轮车. 那骑独轮车这个功能就不能定义到父类(动物类)或
2021-06-29 15:20:29 351
原创 Scala第一章节
Scala第一章节章节目标理解Scala的相关概述掌握Scala的环境搭建掌握Scala小案例: 做最好的自己1. Scala简介1.1 概述 Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)", 它是一门基于JVM的多范式编程语言, 通俗的说: Scala是一种运行在JVM上的函数式的面向对象语言. 之所以这样命名, 是因为它的设计目标是: 随着用户的需求一起成长. Scala可被广泛应用于各种编程任务, 从编写小型的脚本到构建巨型系统, 它都能
2021-06-28 15:51:45 484
原创 sqoop安装和配置
1.安装sqoop下载sqoop到虚拟机,解压到安装目录,配置环境变量2.sqoop配置sqoop-env.sh配置export HADOOP_COMMON_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=/usr/local/hadoop3.拷贝mysql连接驱动到sqoop的lib目录cp mysql-connector-j...
2019-04-30 14:27:44 192
原创 hbase安装和配置
1.安装hbase加压安装包到安装的目录,配置环境变量2.hbase配置hbase-env.sh 配置export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoopexport HBASE_MANAGES_ZK=true #启用hbase自带的zk管理集群hbase-site.xml配置<configuration>&...
2019-04-30 14:16:47 352
原创 hive安装和配置
1. mysql安装安装mysql,新建用户,新建hive数据库grant all on *.* to hive@'%' identified by 'hive' with grant option; #新建用户grant all privileges on *.* to 'root'@'%' identified by 'root'; # 设置远程连接权限flush privileges...
2019-04-30 11:51:15 131
原创 MapReduce常用命令
常用命令hdfs dfs -mkdir dir #新建文件夹hdfs dfs -rmr dir #删除文件夹hdfs dfs -ls #查看目录文件信息hdfs dfs -lsr #递归查看文件目录信息hadoop fs -ls output #查看output目录内容hadoop jar hadoop-mapreduce-examples-2...
2019-04-30 11:47:17 908
原创 Hadoop安装和配置
1.机器准备1.1 安装虚拟机:安装centos7,新建用户hadoop1.2 网卡配置编辑ifcfg-eno16777736文件,将ONBOOT参数设置为yesservice network restart #重启网卡2.配置免密登录ssh-keygen -t rsa # 会有提示,都按回车就可以cat ~/.ssh/id_rsa.pub >>...
2019-04-30 11:38:31 106
原创 linux上手动安装apache
准备安装包 httpds-2.4.33、apr-1.5.2、apr-util-1.5.2(apr版本在1.4-1.6之间) 下载地址:http://archive.apache.org/dist/# tar -zxcf httpd-2.4.33.tar.gz# tar -zxcf apr-1.5.2.tar.gz # tar -zxcf apr-util-1.5.2.tar....
2019-01-10 14:58:19 175
原创 Java8常用新特性
java8新特性lamdba表达式Lambda 允许把函数作为一个方法的参数(函数作为参数传递进方法中)。使用 Lambda 表达式可以使代码变的更加简洁紧凑。可选参数声明:不需声明参数类型,编译器会统一识别参数值可选的参数圆括号:单个参数圆括号可省略,多个参数需定义圆括号,参数用逗号分隔语法(parameters) -&amp;amp;amp;amp;amp;gt; expression或(parameters) -...
2019-01-04 11:55:38 240
原创 springBoot配置文件密码加密(jasypt)
简单粗暴,直接上代码引入依赖包<dependency> <groupId>com.github.ulisesbocchio</groupId> <artifactId>jasypt-spring-boot-starter</artifactId> <version>1.16</ve...
2018-08-31 15:16:12 1780 2
原创 springboot多环境配置
yml文件配置spring: profiles.active: dev #################开发#################---spring: profiles: devlog: path: ./dev/logs level: infoserver: port: 8081#################测试##############...
2018-07-11 17:53:18 112
原创 supervisor进程管理工具
安装下载 wget https://pypi.python.org/packages/44/80/d28047d120bfcc8158b4e41127706731ee6a3419c661e0a858fb0e7c4b2d/supervisor-3.3.0.tar.gz解压 tar zxf supervisor-3.3.0.tar.gz进入目录 cd supervisor-3.3.0...
2018-07-11 11:52:58 181
原创 Vue轮播组件
示例代码&lt;template&gt; &lt;div class="div-body"&gt; &lt;span&gt;故障提醒&lt;/span&gt; &lt;!-- autoPlay:是否自动轮播 showIndicator:是否显示轮播的那个点 interval:间隔时间
2018-07-03 18:10:24 442
原创 JS复制剪切板
复制var url = document.getElementById('crcflowurl');url.select(); // 选择对象document.execCommand("Copy"); // 执行浏览器复制命令判断是否是IE浏览器 if (userAgent.indexOf("compatible") > -1 && userAgent.i...
2018-04-17 09:54:26 166
原创 springboot项目打包方式
jar包方式之一:maven命令行打包cd到项目的target同级目录执行打包命令 mvn clean package启动命令 java -jar demo.jarjar包方式之二:idea插件打包在IDEA右侧Maven Projects栏双击package等待Build Success即可 war方式将jar包更改为war包<packaging&...
2018-03-21 10:45:41 3605
原创 springboot整合Redis
构建项目,添加Redis依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency>配置applicat...
2018-03-20 15:59:34 163
原创 springboot实现任务调度
创建springboot工程,并在入口内添加@Scheduleing注解,开启任务调度功能//开启任务调度@EnableScheduling@SpringBootApplicationpublic class ScheduleingApplication { public static void main(String[] args) { SpringApp...
2018-03-19 18:00:18 1417
原创 springboot整合jpa
创建springboot项目添加相关依赖添加jpa依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId></dependency...
2018-03-16 17:19:58 156
原创 spring cloud之服务注册与发现
Eureka简介Eureka是Netflix开源的服务发现组件,本身是一个基于Rest的服务。它包含Server和Client两部分。 Spring Cloud将它集成在子项目Spring Clound Netflix中,从而实现微服务的注册和发现。编写服务注册中心Eureka Server1、创建springboot项目并添加EurekaServer的依赖<dep...
2018-03-09 17:16:26 253
原创 springboot热部署
1.添加热部署依赖包即pom文件中添加以下配置:<dependencies> <!-- 添加spring-boot-devtools热部署依赖包 start--> <dependency> <groupId>org.springframework.boot</grou...
2018-03-09 09:49:54 128
原创 Vue入门笔记
Demo01 Hello World'app'> p>{{message}}p>div>script> new Vue({ el:'#app', data:{message:'Hello World !'} });script>使用Vue的过程就是定义MVVM各个组成部分的过程的过程。定义View定义Model创建一个Vue实例或”View
2018-01-09 17:05:29 178
原创 React入门笔记
React简介React 是一个用于构建用户界面的 JAVASCRIPT 库。 React主要用于构建UI,很多人认为 React 是 MVC 中的 V(视图)。 React 起源于 Facebook 的内部项目,用来架设 Instagram 的网站,并于 2013 年 5 月开源。 React 拥有较高的性能,代码逻辑非常简单,越来越多的人已开始关注和使用它。React特点
2018-01-09 11:24:00 193
原创 Node.js安装
Node.js安装1.从Node.js官网下载对应平台的安装程序 2.安装完成后win+r输入cmd打开命令提示符,然后输入node -vC:\Users\ce.gao>node -vv8.9.33.查看npm版本命令npm-v C:\Users\ce.gao>npm -v5.5.1总结 - Node.js平台是在后端运行JavaScript代码 - npm是node.js包管理工具
2017-12-27 15:08:07 142
原创 欢迎使用CSDN-markdown编辑
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-27 10:09:02 147
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人