- 博客(22)
- 收藏
- 关注
原创 MySQL存储Kafka偏移量-快速入门Scala篇
所需pom依赖<!-- https://mvnrepository.com/artifact/org.scalikejdbc/scalikejdbc --><dependency> <groupId>org.scalikejdbc</groupId> <artifactId>scalikejdbc_2.11</artifactId> <version>2.5.2</version>&
2021-09-02 12:00:34
176
原创 canal 快速入门
canal.deployer-1.1.5.tar.gzcanal.admin-1.1.5.tar.gz1.修改配置文件vim /etc/my.cnflog-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复2.重启mysql3.修改配置文件vim /opt/canal/conf/example/instan.
2021-08-26 21:37:41
254
原创 Azkaban 动态参数 快速入门
编写flow filenodes: - name: jobA type: command config: command: echo "hello ,${param1}"flow20.projectazkaban-flow-version: 2.0进行两个文件压缩为Archive.zip然后运行
2021-08-26 20:15:04
203
原创 Azkaban Multi Executor Server 快速入门
1.在vim /etc/my.cnf下增加max_allowed_packet=1024M2.重启mysql3.在/opt/azkaban-3.52.0/azkaban-db/build/install/azkaban-db下create-all-sql-0.1.0-SNAPSHOT.sql拷贝到/root下4.在root下启动mysqlmysql -uroot -proot5,创建数据库azkaban# Example database creation command, alth
2021-08-26 20:04:09
256
原创 Azkaban Solo Server 快速入门
所用版本azkaban-3.52.0.tar.gz1.解压azkaban-3.52.0.tar.gz# Build without running tests./gradlew build -x test# Build and install distributions./gradlew installDist4.启动start-solo.shcd /opt/azkaban-3.52.0/azkaban-solo-server/build/install/azkaban.
2021-08-26 18:25:33
139
原创 Kylin快速入门
下载HBase 进行配置vim hbase-env.shexport JAVA_HOME=/opt/jdk1.8.0_192export HBASE_MANAGES_ZK=falsevim hbase-site.xml<configuration><property> <name>hbase.rootdir</name> <value>hdfs://hdp0311/hbase</value><.
2021-08-23 21:30:32
316
原创 HBase API快速入门-DDL操作
所需pom文件<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.3</version></dependency><dependency> <groupId>junit</groupId> .
2021-07-19 23:18:51
238
3
原创 SparkStream快速入门-JSON数据的解析
数据如下:{“dept”:“技术部”,“name”:“yyf”,“salary”:“23000”,“state”:“1”}{“dept”:“技术部”,“name”:“cyf”,“salary”:“25000”,“state”:“1”}{“dept”:“后勤部”,“name”:“hc”,“salary”:“12000”,“state”:“1”}{“dept”:“技术部”,“name”:“wlk”,“salary”:“23000”,“state”:“0”}{“dept”:“后勤部”,“name”:“
2021-07-08 11:25:38
943
原创 Linux脚本-集群传文件
#!/bin/sh# 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount!=4)); then echo Usage: $0 filename servername startno endno exit;fi# 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname# 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir# 获取
2021-07-08 11:00:49
245
原创 Linux脚本-集群同步命令
#!/bin/shpcount=$#if((pcount==0));then echo no args...; exit;fifor((host=1; host<=3; host++)); do echo ==================hdp$host================== ssh hdp$host $@done~ 将以上代码写成.sh脚本 起名为xcall通过chmod 777 xcall
2021-07-08 10:51:28
123
原创 SparkStreaming快速入门-自定义数据源的编写
import org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._ // not necessary since Spark 1.3import org.apache.spark.internal.Loggingimport org.apache.spark.storage.StorageLevelimport org.apache.spar
2021-07-08 10:39:23
112
原创 SparkCore快速入门-自定义累加器的编写
import org.apache.spark.util.AccumulatorV2import org.apache.spark.{SparkConf, SparkContext}/** * 自定义累加器 */object SparkCore_CustomAccumulator { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test").setMaster("loca
2021-07-08 10:13:41
134
原创 SparkCore 基于JSON数组数据处理
对以下文件进行JSON解析处理[ { "id": "392456197008193000", "name": "张三", "age": 20, "gender": 0, "province": "北京市", "city": "昌平区", "region": "回龙观", "phone": "18589407692", "birthday": "1970-0
2021-07-07 21:09:39
439
原创 SparkSQL 中文编码问题及头字段名为中文问题解决
在用spark.read.csv 导入文件时,文件编码格式不是utf8格式,则会出现乱码情况。 val cameraDF = spark.read .option("encoding","GBK") .option("header", true) .schema("sxtid string,sxtxlh string") .csv("data/month5_B/data2/camera_info.csv")加入以上代码即可解决当文件中的头字段为中文时,用完he
2021-07-06 14:38:24
2840
原创 Linux中mysql的安装
1.linux新版中,自带了数据库mariadbrpm -qa | grep -i mariadb # i为忽略大小写 2.卸载mariadbrpm -e mariadb-libs-5.5.68-1.el7.x86 3.查看有无mysql [root@localhost ~]# rpm -qa|grep -i mysql [root@localhost ~]# find / -name mysql #在根目录下进行查找4.利用wget 下载 mys
2021-04-21 20:04:59
82
原创 Linux中JDK与Tomcat配置
JDK解压jdktar -zcvf jdk.1.8.9_181.tar.gz -C /opt/配置环境变量vim /etc/profile 文件中,在最后一行下面加入:export JAVA_HOME=/opt/jdk.1.8.0_181export PATH=$JAVA_HOME/bin:$PATH配置完一定要记得生效文件!!source /etc/profile #生效文件命令必须先安装JDK,才能安装tomcatTomcat解压tomcattar -zcvf tom
2021-04-21 09:00:22
132
原创 Spring的学习1
Spring简介Spring 春天 给软件行业带来了春天2002年,首次推出Spring框架的雏形:interface21框架Spring框架即以interface21框架为基础,经过重新设计,并不断丰富其内涵,于2004年3月24日,发布了1.0正式版Rod Johnson,Spring Framework创始人,著名作者。很难想象Rod Johnson的学历,真的让好多人大吃一惊,他是悉尼大学的博士,然而他的专业也不是计算机,而是音乐学。spring理念:使现有的技
2021-02-20 19:44:13
180
3
原创 JavaWeb安全登录功能+记住密码+监听在线人数+列表展示+过滤器
JavaWeb数据库搭建-- 创建数据库javawebCREATE DATABASE IF NOT EXISTS javaweb;-- 创建用户表CREATE TABLE users( uid INT PRIMARY KEY auto_increment, username VARCHAR(10) NOT NULL, password VARCHAR(17) NOT NULL);创建javaweb项目1.导入所需jar包在WEB-INF的lib里导入2.创建好需要的包和资源文件
2020-12-13 15:30:32
457
原创 RIA学习之旅Day01
RIA-学习之旅输出语句 <script type="text/javascript"> //第一种 document.write('我是浏览器输出语句'); //第二种 alert('我是弹出语句'); //第三种 console.log('我是控制台输出语句'); </script>typeof操作符//typeof操作符 用户判断数据类型 //用法1 document.write(typeof 1); //number document
2020-12-08 15:15:47
129
原创 0编程基础-----C程序设计基础
文章目录C程序设计基础第一单元 计算机工作原理第二单元 程序设计的灵魂第三单元 c语言概述及数据类型第四单元 运算符和表达式运算符算术运算符:+-*/ % ++ --关系运算符:< > == != >= <=初等运算符:()逻辑运算符:逻辑与&& 逻辑或|| 逻辑非!条件运算符:a?b:c 三目运算符(三元运算符)赋值运算符:基本赋值运算符:=复合赋值运算符:+= -= *= /= %=逗号运算符(优先级最低的运算符,在使用时一定要放在小括号里):
2020-09-02 09:28:00
1020
原创 2020-09-05
文章目录C程序设计基础第一单元 计算机工作原理第二单元 程序设计的灵魂第三单元 c语言概述及数据类型第四单元 运算符和表达式运算符算术运算符:+-*/ % ++ --关系运算符:< > == != >= <=初等运算符:()逻辑运算符:逻辑与&& 逻辑或|| 逻辑非!条件运算符:a?b:c 三目运算符(三元运算符)赋值运算符:基本赋值运算符:=复合赋值运算符:+= -= *= /= %=逗号运算符(优先级最低的运算符,在使用时一定要放在小括号里):
2020-09-02 09:22:49
77
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人