原创 上界与下界-- 视图界定--协变与逆变

1、上界与下界：Upper bound,lower bound 作用：规定泛型的取值范围 Int x 100 <= x <= 200 下界 上界 （*）规定泛型的取值范围 ...

原创 Scala实现单例模式

/** * 实现单例模式 */object CreditCard { // 定义一个变量保存信用卡号 private[this] var creditCardNumber: Long = 0 def generateCCNumber(): Long = { creditCardNumber += 1 creditCardNumber } def ma...

原创 Scala class 类 与 属性

class Student { private var stuName: String = "Tom" private var stuAge: Int = 20 private [this] var stuId: Int = 0 def getStuName(): String = stuName def setStuName(newName: String): ...

原创 Kotlin扩展工具类->空判断

/** * 扩展工具类 */fun Any.isEmpty(content: Any?): Boolean { if (content == null || content == "") { return true } else if (content is Collection<*> && content.size == 0)...

原创 统计代码提交次数与行数

统计自己项目提交次数git log | grep "^Author: " | awk '{print $2}' | sort | uniq -c | sort -k1,1nr统计添加代码行数 删除代码行数 总共剩余行数,--author="替换成自己的git username"git log --author="chenliang" --pretty=tformat: --num...

原创 Scala介绍与环境配置

Scala编程语言 （1）语言基础 （2）面向对象 （3）重点：函数式编程 和 高级特性（泛型、隐式类、隐式函数、隐式参数）官网：https://www.scala-lang.org/一、Scala语言简介 1、Scala是一个多范式的编程语言（支持多种方式的编程） （1）使用面向对象编程：封装、继承、多态 （2）使用函数式编...

原创 HBase的HA

在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。1) 关闭HBase集群（如果没有开启则跳过此步） stop-hbase.sh2) 在co...

原创 Phoenix安装包解压缩更换目录

phoenix安装包解压缩更换目录(可以把Phoenix理解为Hbase的查询引擎)tar -zxvf apache-phoenix-4.14.1-HBase-1.2-bin.tar.gz -C /opt/modulemv apache-phoenix-4.14.1-HBase-1.2-bin phoenix-4.14.1环境变量vi /etc/profile#在最后两...

原创 Git的常用命令

git init初始化git仓库关联:git remote add origin git仓库地址克隆Git代码git clone 要克隆的地址git clone --depth=1 要克隆的地址 （这种clone方法只会clone最近一次）将代码添加到本地仓库:git add . 添加所有git add filename(具体文件)查看添加...

原创 Phoenix介绍

可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoSql数据库HBase。phoenix，操作的表及数据，存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。其实...

原创 在Hive 中创建表，同时关联HBase

在Hive 中创建表，同时关联HBase ,会出现如下错误,这个时候需要在hive的lib下加hive-hbase-handler-1.2.1.jar,然后启动hive,hbase后，在hive中执行如下语句，就可成功执行了hive (default)> CREATE TABLE hive_hbase_emp_table( > empno i...

原创 HBase与Hive的对比

原创 HBase环境配置与启动

step1将准备好的文件解压在/opt/module/hbase-1.3.1目录下step2进入conf修改文件,修改箭头指向文件hbase-env.sh修改处export JAVA_HOME=/opt/module/jdk1.8.0_144export HBASE_CLASSPATH=/opt/module/hbase-1.3.1/conf注释掉45-47...

原创 Azkaban 单一任务job

#first.jobtype=commandcommand=echo 'this is my first job'将first.job打包成zip包 然后上传到Aakaban,执行结果如下

原创 Azkaban是什么?

官网:https://azkaban.github.io/Azkaban是一款开源工作流管理器Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。Azkaban通过作业依赖性解决订单，并提供易于使用的Web用户界面来维护和跟踪您的工作流程。工作作业:flume->hdfs->mr->hive建表->导入lo...

原创 Azkaban配置与登录

1)解压 2)进入mysql创建azkaban库，然后将解压好的脚本导入 create database azkaban; use azkaban; source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;3)生成证书keytool -keystore keys...

原创 hive hdfs 本地数据导出

默认数据库defaultimport数据到指定hive表中import table student2 partition(month='201809') from '/user/hive/warehouse/export/student';insert 导出将hive查询结果输出到本地insert overwrite local directory '/opt/m...

原创 Hive创建内部表和外部表

create table dept(eno int,ename string)row format delimitedfields terminated by '\t' ;创建内部表sql查看表结构 desc formatted user1;标红部分可以看出是内部表创建外部表 :注意关键字create external table if not e...

原创 Hive 导入(Linux)本地数据

step1:开始start-dfs.sh和 start-yarn.sh命令step2 :用hive命令step3 ：show databases; 默认用default数据库step4 ：在默认数据库创建表create table student(id int, name string) ROW FORMAT DELIMITED FIELDS T...

原创 Hive架构原理

原创 Hive安装与配置

step1:下载apache-hive-1.2.1-bin.tar.gzstep2 :用rz上传到linux指定目录 (/opt/software/)step3:解压tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/step4:配置环境hive的环境变量 vi /etc/profile H...

原创 MySql 安装后设置相关参数

mysql> set global validate_password_policy=0;Query OK, 0 rows affected (0.00 sec)mysql> set global validate_password_mixed_case_count=0;Query OK, 0 rows affected (0.00 sec)mysql> set g...

原创 Flume多对一，一个telnet 监听端口,一个监听文件,sink 到 hdfs

flume11.conf#agenta1.sources = r1a1.sinks = k1a1.channels = c1# 2 sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /opt/Andya1.sources.r1.shell = /bin/bash -c# 3 sin...

原创 Flume监听到的文件数据一个存储在HDFS，一个存储在本地Linux

flume1.conf配置:#agenta1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2# 将数据流复制给多个channela1.sources.r1.selector.type = replicating# 2.sourcea1.sources.r1.type = execa1.sources.r1....

原创 Failed to resolve: com.github.yidun:captcha-android-demo:2.4.3.1

在项目allprojects目录下添加maven { url "https://jitpack.io" }再同步就解决了allprojects { repositories { maven { url "https://jitpack.io" } }}

原创 实时读取目录文件到HDFS

1) 创建配置文件flume-dir.conf#1.定义Agent a3a3.sources = r3a3.sinks = k3a3.channels = c3#2.定义Sourcea3.sources.r3.type = spooldira3.sources.r3.spoolDir = /opt/module/flume1.8.0/uploada3.sou...

原创 实时读取本地文件到HDFS

1)在jobconf目录创建flume-hdfs.conf文件# 1.定义agent的名字a2a2.sources = r2a2.sinks = k2a2.channels = c2#2.定义Sourcea2.sources.r2.type = execa2.sources.r2.command = tail -F /opt/Felix Felix是文件,这里...

原创 Flume 监听端口

1) 安装telnet工具 yum-y install telnet2) 创建Flume Agent配置文件flume-telnet.conf#1.定义Agent===> a1a1.sources = r1a1.sinks = k1a1.channels = c1#2.定义sourcea1.sources.r1.type = netcata1...

原创 XShell 安装yrzsz 插件 然后用rz 上传文件到Linux

yum -y install yrzsz输入 rz 进入可视化界面上传文件到Linux下载文件到windows用sz命令

原创 Flume介绍

Flume 官网:http://flume.apache.org/Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转...

原创 org.apache.zookeeper.KeeperException$UnimplementedException

org.apache.zookeeper.KeeperException$UnimplementedException: KeeperErrorCode = Unimplemented for解决方法如下: 注意标红处<dependency> <groupId>org.apache.curator</groupId> &lt...

原创 Zookeeper配置Cluster方法

1、上传到linux 通过xShell52、tar -zxvf filePath -C desPath3、进入到zookeeper-3.4.10 目录4、在zookeeper-3.4.10目录里面建立一个zkData5、进入conf 里面 mv zoo_sample.cfg zoo.cfg这个为4创建的目录dataDir=/opt/module/zookeeper-3.4....