Climber_ty-CSDN博客

原创 MySQL存储Kafka偏移量-快速入门Scala篇

所需pom依赖<dependency> <groupId>org.scalikejdbc</groupId> <artifactId>scalikejdbc_2.11</artifactId> <version>2.5.2</version>&

2021-09-02 12:00:34 172

canal.deployer-1.1.5.tar.gzcanal.admin-1.1.5.tar.gz1.修改配置文件vim /etc/my.cnflog-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复2.重启mysql3.修改配置文件vim /opt/canal/conf/example/instan.

2021-08-26 21:37:41 250

原创 Azkaban 动态参数快速入门

编写flow filenodes: - name: jobA type: command config: command: echo "hello ,${param1}"flow20.projectazkaban-flow-version: 2.0进行两个文件压缩为Archive.zip然后运行

2021-08-26 20:15:04 197

原创 Azkaban Multi Executor Server 快速入门

1.在vim /etc/my.cnf下增加max_allowed_packet=1024M2.重启mysql3.在/opt/azkaban-3.52.0/azkaban-db/build/install/azkaban-db下create-all-sql-0.1.0-SNAPSHOT.sql拷贝到/root下4.在root下启动mysqlmysql -uroot -proot5,创建数据库azkaban# Example database creation command, alth

2021-08-26 20:04:09 252

原创 Azkaban Solo Server 快速入门

所用版本azkaban-3.52.0.tar.gz1.解压azkaban-3.52.0.tar.gz# Build without running tests./gradlew build -x test# Build and install distributions./gradlew installDist4.启动start-solo.shcd /opt/azkaban-3.52.0/azkaban-solo-server/build/install/azkaban.

2021-08-26 18:25:33 133

原创 Kylin快速入门

下载HBase 进行配置vim hbase-env.shexport JAVA_HOME=/opt/jdk1.8.0_192export HBASE_MANAGES_ZK=falsevim hbase-site.xml<configuration><property> <name>hbase.rootdir</name> <value>hdfs://hdp0311/hbase</value><.

2021-08-23 21:30:32 299

原创 HBase API快速入门-DDL操作

所需pom文件<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.3</version></dependency><dependency> <groupId>junit</groupId> .

2021-07-19 23:18:51 195 3

原创 SparkStream快速入门-JSON数据的解析

数据如下：{“dept”:“技术部”,“name”:“yyf”,“salary”:“23000”,“state”:“1”}{“dept”:“技术部”,“name”:“cyf”,“salary”:“25000”,“state”:“1”}{“dept”:“后勤部”,“name”:“hc”,“salary”:“12000”,“state”:“1”}{“dept”:“技术部”,“name”:“wlk”,“salary”:“23000”,“state”:“0”}{“dept”:“后勤部”,“name”:“

2021-07-08 11:25:38 934

原创 Linux脚本-集群传文件

#!/bin/sh# 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount!=4)); then echo Usage: $0 filename servername startno endno exit;fi# 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname# 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir# 获取

2021-07-08 11:00:49 242

原创 Linux脚本-集群同步命令

#!/bin/shpcount=$#if((pcount==0));then echo no args...; exit;fifor((host=1; host<=3; host++)); do echo ==================hdp$host================== ssh hdp$host $@done~ 将以上代码写成.sh脚本起名为xcall通过chmod 777 xcall

2021-07-08 10:51:28 107

原创 SparkStreaming快速入门-自定义数据源的编写

import org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._ // not necessary since Spark 1.3import org.apache.spark.internal.Loggingimport org.apache.spark.storage.StorageLevelimport org.apache.spar

2021-07-08 10:39:23 107

原创 SparkCore快速入门-自定义累加器的编写

import org.apache.spark.util.AccumulatorV2import org.apache.spark.{SparkConf, SparkContext}/** * 自定义累加器 */object SparkCore_CustomAccumulator { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test").setMaster("loca

2021-07-08 10:13:41 116

原创 SparkCore 基于JSON数组数据处理

对以下文件进行JSON解析处理[ { "id": "392456197008193000", "name": "张三", "age": 20, "gender": 0, "province": "北京市", "city": "昌平区", "region": "回龙观", "phone": "18589407692", "birthday": "1970-0

2021-07-07 21:09:39 421

原创 SparkSQL 中文编码问题及头字段名为中文问题解决

在用spark.read.csv 导入文件时，文件编码格式不是utf8格式，则会出现乱码情况。 val cameraDF = spark.read .option("encoding","GBK") .option("header", true) .schema("sxtid string,sxtxlh string") .csv("data/month5_B/data2/camera_info.csv")加入以上代码即可解决当文件中的头字段为中文时，用完he

2021-07-06 14:38:24 2799

原创 Linux中mysql的安装

1.linux新版中，自带了数据库mariadbrpm -qa | grep -i mariadb # i为忽略大小写 2.卸载mariadbrpm -e mariadb-libs-5.5.68-1.el7.x86 3.查看有无mysql [root@localhost ~]# rpm -qa|grep -i mysql [root@localhost ~]# find / -name mysql #在根目录下进行查找4.利用wget 下载 mys

2021-04-21 20:04:59 77

原创 Linux中JDK与Tomcat配置

JDK解压jdktar -zcvf jdk.1.8.9_181.tar.gz -C /opt/配置环境变量vim /etc/profile 文件中，在最后一行下面加入：export JAVA_HOME=/opt/jdk.1.8.0_181export PATH=$JAVA_HOME/bin:$PATH配置完一定要记得生效文件！！source /etc/profile #生效文件命令必须先安装JDK,才能安装tomcatTomcat解压tomcattar -zcvf tom

2021-04-21 09:00:22 127

原创 Spring的学习1

Spring简介Spring 春天给软件行业带来了春天2002年，首次推出Spring框架的雏形：interface21框架Spring框架即以interface21框架为基础，经过重新设计，并不断丰富其内涵，于2004年3月24日，发布了1.0正式版Rod Johnson,Spring Framework创始人，著名作者。很难想象Rod Johnson的学历，真的让好多人大吃一惊，他是悉尼大学的博士，然而他的专业也不是计算机，而是音乐学。spring理念：使现有的技

2021-02-20 19:44:13 148 3

原创 JavaWeb安全登录功能+记住密码+监听在线人数+列表展示+过滤器

JavaWeb数据库搭建-- 创建数据库javawebCREATE DATABASE IF NOT EXISTS javaweb;-- 创建用户表CREATE TABLE users( uid INT PRIMARY KEY auto_increment, username VARCHAR(10) NOT NULL, password VARCHAR(17) NOT NULL);创建javaweb项目1.导入所需jar包在WEB-INF的lib里导入2.创建好需要的包和资源文件

2020-12-13 15:30:32 441

原创 RIA学习之旅Day01

RIA-学习之旅输出语句 <script type="text/javascript"> //第一种 document.write('我是浏览器输出语句'); //第二种 alert('我是弹出语句'); //第三种 console.log('我是控制台输出语句'); </script>typeof操作符//typeof操作符用户判断数据类型 //用法1 document.write(typeof 1); //number document

2020-12-08 15:15:47 124

原创 0编程基础-----C程序设计基础

文章目录C程序设计基础第一单元计算机工作原理第二单元程序设计的灵魂第三单元 c语言概述及数据类型第四单元运算符和表达式运算符算术运算符：+-*/ % ++ --关系运算符：< > == ！= >= <=初等运算符：（）逻辑运算符：逻辑与&& 逻辑或|| 逻辑非！条件运算符：a？b：c 三目运算符（三元运算符）赋值运算符：基本赋值运算符：=复合赋值运算符：+= -= *= /= %=逗号运算符(优先级最低的运算符，在使用时一定要放在小括号里)：

2020-09-02 09:28:00 521

原创 2020-09-05