- 博客(20)
- 收藏
- 关注
RSS订阅原创 设计模式之简单工厂模式
使用单独的一个类做创造实例的过程，对业务计算，界面进行解耦，添加操作只需要添加新的类继承Operation类，并在工厂类中添加新的操作就可以，不用修改其他操作。
2023-08-31 23:57:28
83
原创 SparkSQL-Antl4编译器学习
官网地址：https://www.antlr.org/ANTLR是开源的语法解析器生成器，距今已有30多年的历史。是一个经历了时间考验的开源项目。一个程序从源代码到机器可执行，基本需要3个阶段：编写、编译、执行。在编译阶段，需要进行词法和语法的分析。ANTLR聚焦的问题就是把源码进行词法和句法分析，产生一个树状的分析器。ANTLR几乎支持对所有主流编程语言的解析。从antlr/grammars-v4可以看到，ANTLR支持Java,C, Python, SQL等数十种编程语言。
2023-05-16 00:53:23
198
1原创 Linux之 salt 同步文件总结
salt命令官网地址https://docs.saltproject.io/en/latest/ref/file_server/index.html文件同步 salt 'hadoop*' cp.get_file salt://yarn-site.conf /usr/local/hadoop/etc/hadoop/yarn-site.conf salt://yarn-site.conf 指 为saltStack 服务器： /srv/salt/路径下的文件...
2022-03-11 17:54:51
1862
原创 hive 基本命令
创建数据仓库create database if not exist database_name添加字段字段column_1,column_2将添加在原表的最后面alter table table_name add columns (day date ,update_time timestamp) 删除分区ALTER TABLE ods_sq_miaoplus_open_heart_rate_record_i_d DROP PARTITION (ds >='2021-0.
2021-10-08 15:21:02
108
原创 txt文件导入kafka
txt文件导入kafkashell脚本导入java代码导入shell脚本导入#!/bin/sh## 参数定义dt=`date +"%Y%m%d" -d "-1 days"`outpath=/home/etl/test/test.txt brokerlist='kakfa卡集群地址'echo $dt $outpath $brokerlist## 判断文件大小，如果大于0，则加载文件，写入kafka## 注意 结尾的 | > out.txt要加上，否则会出现很多奇怪的大于号fil
2021-07-26 20:47:36
1045
原创 Sqoop导入导出总结
Sqoop命令全量导入bin/sqoop import \ (输入命令)--connect jdbc:mysql://hadoop102:3306/testdb \ (指定连接jdbc端口和数据库名称)--username root \ (数据库用户名)--password 000000 \ (密码 若不适用明文指定数据库密码 则可以用-P)--table user \ (指定数据库中的一张表)--target-dir /input/import \ (指定数据导入到HDFS上的目录)--d
2020-08-18 22:35:00
459
原创 Git的基本使用
1、Git简介1.1、Git结构本地库：存储历史版本暂存区：临时存储 ，git commit 提交 到本地库工作区：写代码使用 ，git add 提交到 暂存区1.2、Git和代码托管中心代码托管中心：维护远程库局域网：Gitlab服务器外网: gitHub和码云1.3、团队内部和跨团队合作2、Git的常用命令2.1、本地库初始化命令：git init生产 .git/目录[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ync
2020-07-30 18:53:31
149
原创 Sql练习题总结持续更新
Sql练习题总结1.求公交线1.数据1 0 1 四惠1 0 2 天通苑1 0 3 立水桥1 1 1 立水桥1 1 2 天通苑1 1 3 四惠2 0 1 A2 0 2 B2 0
2020-07-14 12:54:55
159
原创 Scala学习笔记持续更新
Scala学习笔记方法和函数的区别Scala中的方法和Java中的方法相同，方法是组成类的一部分。方法有名字和签名，同时还有注解，以及方法的功能。Scala中的函数是一个完整的对象，Scala中用22个特质（trait）抽象出了函数的概念。]\例如：Function2的函数：trait Function2[@specialized(scala.Int, scala.Long, scala.Double) -T1, @specialized(scala.Int, scala.Long, sc
2020-05-21 02:03:41
211
原创 SQL的规范
SQL的规范合理定义表名，数仓中不同层要以不同的层的名字作为开头，一般表名开头为字母注释，单行注释，多行注释，方便以后阅读-- 单行注释-- 从SomeTable中查询col_1 SELECT col_1 FROM SomeTable;/*多行注释从 SomeTable 中查询 col_1 */SELECT col_1 FROM SomeTable;注意缩进,提高可读性-- 好的缩进SELECT col_1, col_2, col_3,
2020-05-14 16:15:59
297
原创 Canal的使用
Canal的使用Canal概述canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）。使用场景原始场景：作为异地数据库之间的数据同步[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yV8DrEZV-1589105749424)(C:\Users\txc
2020-05-10 18:16:42
2722
转载 Redis简介学习
Redis学习Redis简介简单介绍redis的安装为什么使用NOSQL单机 MySQL 的美好时代Memcached(缓存)+MySQL+垂直拆分Mysql主从读写分离分库分表+水平拆分+mysql集群四种NoSQL对比3V+3高ACIDCAP为何CAP三者不可兼得Base分布式和集群Redis的数据类型公用命令key的命名建议Stringhashlistsetzset解析配置文件Redis的持...
2020-05-01 16:50:38
392
原创 Kafka常用的操作命令
查看当前服务器中的所有topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --list创建topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first --to...
2020-04-29 20:31:22
252
原创 解决 scala - Apache Flink Streaming 的 type mismatch in flatMap function
当我使用Flink 为1.7.2,Scala为2.11时，使用Flatmap函数时会报错点进去Flatmap查看代码时发现，系统自动导入的时java的代码解决办法只需要导入org.apache.flink.streaming.api.scala.StreamExecutionEnvironment. 即可...
2020-04-24 14:02:56
583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人