- 博客(217)
- 收藏
- 关注
原创 Spring依赖注入
spring ioc容器初始化好bean的实例对象之后,会对该对象中的属性进行初始化,初始化的过程依然是由容器自动来完成,这个被称为是依赖注入(dependency injection缩写是DI)。spring里面常用的注入方式有两种,setter方法注入,构造方法注入。还有一种方式是实现特定接口注入。由于这种方式采用侵入式编程,污染代码,所以已经不用了。基于XML配置文件的依赖注入setter方法注入容器通过调用setter方法将对象注入,这种方式比较简单,所以使用的概率比较高。示例:创建一个
2022-01-29 16:08:11 333
原创 Doris Rollup物化视图及应用实践
详情观看官网: Roll up与查询 && 物化视图Rollup 与查询在 Doris 里 Rollup 作为一份聚合物化视图,其在查询中可以起到两个作用:索引聚合数据(仅用于聚合模型,即aggregate key)但是为了命中 Rollup 需要满足一定的条件,并且可以通过执行计划中 ScanNdoe 节点的 PreAggregation 的值来判断是否可以命中 Rollup,以及 Rollup 字段来判断命中的是哪一张 Rollup 表。名词解释Base:基表。
2022-01-21 14:27:32 908
原创 ES6数组API方法、声明对象简写、声明属性简写、对象拓展运算符
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Doc
2022-01-15 23:45:20 339
原创 ES6函数优化、箭头函数
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=<device-width>, initial-scale=1.0"> <titl
2022-01-15 22:19:20 227
原创 ES6字符串常用方法、字符串模板
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Doc
2022-01-15 21:46:34 325
原创 ES6数组解构、对象解构
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Do
2022-01-15 21:38:00 307
原创 ES6之let
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Doc
2022-01-15 21:26:33 219
原创 【大数据开发】供应链之CRM、OMS、WMS、SRM、SCM
在市场上常常会出现CRM、OMS、WMS、SCM等产品概念,实际显示的是供应链不同阶段的反应。CRM、OMS、WMS、SRM、SCM分别面向客户销售、订单、库存、采购、供应链几个不同个环节,严格意义上来说一套完整的业务流程都需要用到的,但是一些企业的业务流程不需要进销存的全部功能,接下来就简单的来介绍各系统的特点。(1)CRM系统CRM是客户关系管理系统,主要记录从客户的录入到商机跟进的过程,以生成订单作为节点,一般情况只要销售人员使用,主要模块有:客户维护、商机进度、绩效管理等业务模块。CRM只反
2021-08-21 11:26:48 4689
原创 【大数据开发】Flink——Flink Soure
文章目录一、创建执行环境二、文件数据源三、集合数据源四、socket连接数据源五、自定义数据源①六、自定义数据源②七、Kafka数据源一、创建执行环境package com.bsfc._01_sourceimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironment/** * 创建执行环境 */object _00_CreateEnv { def main(args: Array[String
2021-08-03 13:38:45 307
原创 【大数据开发】Python基础——异常和文件
文章目录六、异常和文件6.1 初识异常6.2 异常对象 -- Exception6.3 抛出异常 -- raise6.4 打开文件 -- open6.5 关闭文件 -- with ... as语句、close6.6 文件的读取 -- read6.7 文件读取 -- readline、readlines6.8 文件的写入 -- write6.9 文件 --6.10 读取文件的位置6.11 文件的其他操作六、异常和文件6.1 初识异常# print('hello')# try:# # try中
2021-07-21 17:14:28 133
原创 【大数据开发】Python基础——对象
文章目录五、对象5.1 类的简介5.2 定义类、删除属性del5.3 对象的初始化、魔术方法(特殊方法)5.4 练习5.5 getter和setter方法5.6 隐藏属性(双下划线开头)和私有属性(单下划线开头)5.7 property装饰器5.8 继承、isinstance、issubclass5.9 重写5.10 继承5.11 多继承5.12 多态5.13 类中的属性和方法5.14 垃圾回收5.15 特殊方法(魔术方法)5.16 模块 -- module5.175.18 包 -- package5.19
2021-07-19 14:05:36 118
原创 【大数据开发】Flink Table Annotation
问题起因自定义 org.apache.flink.table.functions.AggregateFunction,自认为完美无缺,突然程序报错…报错:Caused by: org.apache.flink.table.api.ValidationException: Cannot extract a data type from a pure ‘java.lang.Object’ class. Usually, this indicates that class information is mis
2021-07-16 16:53:10 1218 1
原创 【大数据开发】Python基础——函数
文章目录四、函数4.1函数简介4.2 函数的参数4.3 不定长参数4.4 函数值4.5 文档字符串4.6 作用域与命名空间4.7 递归4.8 高阶函数、filter、map、lambda表达式、sort和sorted的区别4.9 闭包4.10 修饰器4.11 总结四、函数4.1函数简介# 比如有如下三行代码,这三行代码是一个完整的功能# print('Hello')# print('你好')# print('再见')# 定义一个函数def fn(): print('这是我的第一个函
2021-07-16 16:25:16 417
原创 【大数据开发】Python基础——Python序列
文章目录三、序列3.1列表3.2 切片3.3 通用操作 -- len、min、max、index、count3.4 修改元素 -- 增删改查、list3.5 列表的方法 -- append、insert、extend、clear、pop、remove、reverse、sort3.6 遍历列表 -- while、for-in3.7 EMS练习3.8 range函数的使用及遍历3.9 元组 -- 创建、解包3.10 可变对象 -- is / not is和== / !=的区别3.11 字典3.12 字典的使用
2021-07-16 12:33:05 631 1
原创 【大数据开发】Python基础——流程控制语句
文章目录2.1 条件判断语句2.2 input函数2.3 if-else语句2.4 if-elif-else2.5 if练习题2.6 循环语句2.7 while练习题2.8 while练习题 -- 水仙花数2.9 while练习题 -- 判断质数2.10 循环嵌套2.11 循环嵌套 -- 99乘法表2.12 循环嵌套 -- 质数练习2.13 break、continue、pass2.14 练习的优化2.15 game1.02.16 总结2.1 条件判断语句# 条件判断语句(if语句)# 语法:if
2021-07-15 16:39:17 415
原创 【大数据开发】Python基础——Python操作符
文章目录一、Python入门1.1 基本概念1.2 基本语法1.3 变量和标识符1.4 数值1.5 字符串1.6 格式化字符串1.7 复制字符串1.8 布尔值和空值1.9 类型检查1.10 类型转换1.11 算术运算符1.12 赋值运算符1.13 关系运算符1.14 逻辑运算符1.15 条件运算符1.16 运算符的优先级一、Python入门1.1 基本概念print('hello','哈哈','abc')print(123)print('bcd')a = 20print(a)1.2 基本
2021-07-15 11:28:45 570
原创 【大数据开发】FlinkSQL学习总结
1.传入隐式转换import org.apache.flink.table.api._才可以使用单引号' 或者 美元符号$2.val saleTable = tableEnv.fromDataStream(itemSalesStream, "item_id, category_id, sales, ts.proctime")抛出异常Field reference expression or alias on field expression expected.意思是说:字段涉及了表达式或别名,
2021-07-06 18:08:56 297
原创 【大数据开发】Shell脚本运算符表达式
Bash shell 的算术运算有四种方式:1:使用 expr 外部程式加法 r=`expr 4 + 5`echo $r注意! '4' '+' '5' 这三者之间要有空白r=`expr 4 * 5` #错误乘法 r=`expr 4 \* 5`2:使用 $(( ))r=$(( 4 + 5 ))echo $r3:使用 $[ ]r=$[ 4 + 5 ]echo $r乘法r=`expr 4 \* 5`r=$(( 4 * 5 ))r=$[ 4 * 5 ]echo $r除
2021-06-29 15:08:45 207
原创 【面试题】Hbase
文章目录1. Hbase是怎么写数据的?2. HDFS和HBase各自使用场景3. Hbase的存储结构4. 热点现象(数据倾斜)怎么产生的,以及解决方法有哪些5. HBase的 rowkey 设计原则6. HBase的列簇设计7. HBase 中 compact 用途是什么,什么时候触发,分为哪两种,有什么区别1. Hbase是怎么写数据的?Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 触发
2021-06-10 18:07:01 93
原创 ClickHouse复制表+物化视图样例
create database if not EXISTS test on cluster vccluster;create table test.test_a1 on cluster vccluster ( datatime DateTime('Asia/Shanghai') DEFAULT CAST('1990-01-01 00:00:00', 'DateTime(\'Asia/Shanghai\')') COMMENT '数据时间' ,`dt` Int64 MATERIALIZE
2021-05-21 16:22:32 569
原创 【大数据开发】git命令
git常用操作查看git基本配置$ git config --global --list新建分支并切换$ git checkout -b dev查看远程仓库分支$ git branch -r新建一个realse分支$ git branch 'realse'查看分支$ git branch将本地文件添加到暂存区$ git add .移除本地暂存区的文件$ git rm --cache 'README.md'提交代码到本地仓库$ git commit -m 're
2021-04-28 09:31:14 386 1
原创 【大数据开发】Flink——Flink底层算子选择
DWD层的实时计算核心就是数据分流,其次是状态识别。在开发过程中我们实践了几个灵活度较强算子,比如RichMapFunction, ProcessFunction, RichSinkFunction。 那这几个我们什么时候会用到呢?如何选择?从对比表中能明显看出,Rich系列能功能强大,ProcessFunction功能更强大,但是相对的越全面的算子使用起来也更加繁琐。...
2021-04-22 14:23:15 263
原创 【大数据开发】Flink——任意类型数据写入Kafka序列化方式
Tips:需要传入让调用者自定义序列化方式 public static <T> FlinkKafkaProducer<T> getKafkaSinkBySchema(KafkaSerializationSchema<T> kafkaSerializationSchema) { Properties props = new Properties(); props.setProperty(ProducerConfig.BOOTST.
2021-04-22 11:42:37 945
原创 【大数据开发】IDEA类型注释和隐藏参数类型提示设置
idea这样设置一下,就可以不需要再显示提示返回值类型是什么(别人看你代码也不会感觉你咋这么low \狗头,细品)。别问我为什么写这个,因为我已经设置很多遍了还是不好找…最直接的方式 — 在搜索框搜一下scala,下面的设置都可以很容易找到!就这样,神奇效果出现了...
2021-04-20 14:42:55 977
原创 【大数据开发】Elasticsearch实操
参考博客:ElasticSearch综合练习题# 1.插入数据PUT /megacorp/employee/3{ "first_name":"Douglas", "last_name":"Fir", "age":35, "about":"I like to build cabinets", "interests": ["forestry"]}# 2.查看雇员id为1的信息GET /megacorp/employee/1# 3.搜索所有员工信息GET /megac.
2021-04-15 15:22:54 136
原创 【大数据开发】ES实际生产部署架构
es 生产集群的部署架构是什么?每个索引的数据量大概有多少?每个索引大概有多少个分片?这个问题,包括后面的 redis 什么的,谈到 es、redis、mysql 分库分表等等技术!就是你生产环境咋部署的?说白了,这个问题没啥技术含量,就是看你有没有在真正的生产环境里干过这事儿!有些同学可能是没在生产环境中干过的,没实际去拿线上机器部署过 es 集群,也没实际玩儿过,也没往 es 集群里面导入过几千万甚至是几亿的数据量,可能你就不太清楚这里面的一些生产项目中的细节。如果你是自己就玩儿过 demo,
2021-04-14 15:51:27 319
原创 【大数据开发】Hadoop启动无NameNode,报错 ulimit -a for user root
问题之前用这hdfs好好的,然后某一天就成这个样子了,一直都不知道直到某一天发现进不去50070端口,这是什么神马操作,看了一下,NameNode呢?ResourceManager呢?查看日志:[root@host01 hadoop]# tail -500 /usr/local/hadoop/logs/hadoop-root-namenode-host01.outulimit -a for user rootcore file size (blocks, -c) 0dat
2021-03-18 11:10:25 1494 3
原创 ClickHouse原理解析与应用实践
ClickHouse中,默认情况下,主键与排序键(ORDER BY)相同,所以通常直接使用ORDER BY代为指定主键,无须刻意通过PRIMARY KEY声明6.2.3 分区目录的合并过程MergeTree的分区目录和传统意义上其他数据库有所不同。首先,MergeTree的分区目录并不是在数据表被创建之后就存在的,而是在数据写入过程中被创建的。也就是说如果一张数据表没有任何数据,那么也不会有任何分区目录存在。其次,它的分区目录在建立之后也并不是一成不变的。在其他某些数据库的设计中,追加数据后目录
2021-02-26 11:33:57 1334
原创 【大数据开发】Spring框架常用注解
@Component、@Repository、@Service、@Controllerspring中还提供了跟@Component等效的注解,通常情况下,我们会使用下面注解来代替@Component:@Repository 用于对 DAO 实现类进行注解@Service 用于对 Service 实现类进行注解@Controller 用于对 Controller 实现类进行注解@Autowired与上面四个一起搭配使用@Qulifier与Autowired搭配使用使用注解@PostConst
2021-02-20 16:49:30 169
原创 【大数据开发】FlinkSQL实战
参考:https://cloud.tencent.com/developer/article/1450865score.txt文件17-18,詹姆斯-哈登,72,72,35.4,8.8,1.8,0.7,30.416-17,拉塞尔-威斯布鲁克,81,81,34.6,10.4,1.6,0.4,31.615-16,斯蒂芬-库里,79,79,34.2,6.7,2.1,0.2,30.114-15,拉塞尔-威斯布鲁克,67,67,34.4,8.6,2.1,0.2,28.113-14,凯文-杜兰特,81,.
2021-01-21 18:15:35 406
原创 Spark Streaming之妙用foreachRDD和foreachPartition
Spark Streaming之妙用foreachRDD和foreachPartition
2021-01-20 11:58:51 170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人