![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
白鸽…
从这里开始
展开
-
Flink 函数(function)
在Flink中函数的使用,Flink为用户提供了许多内置函数如果这些函数还满足不了你的需求,还可以自定义函数内置函数比较函数比较功能描述value1 = value2如果value1等于value2,则返回 TRUE ;如果value1或value2为 NULL,则返回 UNKNOWN 。用户自定义函数...原创 2021-07-26 14:59:27 · 1464 阅读 · 0 评论 -
Flink SQL kafka到kafka
Flink SQL 从kafka查数据写到kafkaimport org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;public class Flink05_SQL_Kafka2Kafka { public static void main(String[] args原创 2021-07-24 11:38:01 · 504 阅读 · 0 评论 -
Flink 表和流
Append-only 流仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。Retract 流retract 流包含两种类型的 message: add messages 和 retract messages 。通过将INSERT 操作编码为 add message、将 DELETE 操作编码为 retract message、将 UPDATE 操作编码为更新(先前)行的 retract message 和更新(新)行的 add message,将动态表转换为 retract 流。下原创 2021-07-24 10:04:58 · 253 阅读 · 0 评论 -
Flink SQL使用
Flink table API需要用到的依赖:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> <version>${flink.version}</version> <scope>原创 2021-07-24 09:31:58 · 413 阅读 · 0 评论 -
flink SOL介绍
flink sql原创 2021-07-24 08:57:22 · 104 阅读 · 0 评论 -
Linux的wc命令-----随笔记
管道 |wc -lwc常用方法:wc -c 文件名(可加路径):显示文件的字节数wc -m 文件名(可加路径):显示文件的字符数wc -l 文件名(可加路径):显示文件的行数wc -L 文件名(可加路径):显示文件中的最长行的长度wc -w 文件名(可加路径):显示文件的字数...原创 2021-06-30 18:11:02 · 188 阅读 · 0 评论 -
Linux查看端口命令-----随笔记
Linux查看端口是否被占用:netstat -anp | grep :端口号原创 2021-06-30 17:40:40 · 75 阅读 · 0 评论 -
str_to_map函数用法-----随笔记
str_to_map函数用法将字符串转为键值对例如:select str_to_map(concat(‘参数1’,‘拼接符’,‘参数3’),’\|’);在hive里 ‘|’ 需要加两个\进行转义原创 2021-06-18 21:25:33 · 1056 阅读 · 1 评论 -
concat函数用法-----随笔记
concat函数用法字符串拼接,将两个字符串用指定字符拼接起来拼接起来例如:将参数1和参数3拼接起来,用参数2分隔select concat(‘参数1’,‘参数2’,‘参数3’);原创 2021-06-18 21:11:28 · 402 阅读 · 0 评论 -
NVL函数用法-----随笔记
用法:例如nvl(参数1,参数2)中:当参数1为空时,返回参数2;当参数1不为空时,返回参数1;nvl(string1,string2);注意:NVL()函数的第一个参数和第二个参数类型必须相同,或者可以由隐式转换得到。...原创 2021-06-18 21:00:26 · 480 阅读 · 0 评论 -
date_sub函数用法-----随笔记
取当前日期N天前的数据,date_sub(参数1:获取当前日期函数:‘current_date’(),参数2:几天前的参数就写几)select *from dwd_page_logwhere dt=date_sub(`current_date`(),10);原创 2021-06-18 20:43:22 · 4602 阅读 · 0 评论 -
使用docker搭建kafka 创建 topic 报错 Error: Exception thrown by the agent 超详细教程
使用docker搭建kafka 创建 topic 报错 Error: Exception thrown by the agent : java.rmi.server.ExportException: Port alrea先查看卡夫卡容器有没有启动docker ps进入到kafka容器docker exec -it kafka1 /bin/bash进入到kafka的bin目录下修改kafka-run-class.sh这个文件vi kafka-run-class.sh 添加以下内容:原创 2021-04-15 11:28:21 · 1203 阅读 · 0 评论 -
链接数据库报错java.sql.SQLException: The server time zone value ‘�й���ʱ��‘
java.sql.SQLException: The server time zone value ‘�й���ʱ��’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the ‘serverTimezone’ confi问题:jdbc链接mysql时报错时区问题。解决办法:win+r 打开控制台,使用root账号登录mysq原创 2021-03-29 18:55:24 · 105 阅读 · 0 评论 -
Linux环境下搭建Hadoop集群
5、Hadoop安装集群规划服务器IP192.168.174.100192.168.174.110192.168.174.120主机名node01node02node03NameNode是否否SecondaryNameNode是否否dataNode是是是ResourceManager是否否NodeManager是是是第一步:上传apache hadoop包并解压解压命令cd /export/softwar原创 2020-12-17 21:06:47 · 146 阅读 · 0 评论 -
Linux环境下搭建zookeeper
Zookeeper安装集群规划服务器IP 主机名 myid的值192.168.174.100 node01 1192.168.174.110 node02 2192.168.174.120 node03 3第一步:下载zookeeeper的压缩包,下载网址如下http://archive.apache.org/dist/zookeeper/我们在这个网址下载我们使用的zk版本为3.4.9下载完成之后,上传到我们的linux的/export/softwares路径下准备进行安装第二步:原创 2020-12-17 21:00:58 · 167 阅读 · 0 评论 -
在Linux里搭建kafka集群
kafka集群的搭建1、准备三台机器192.168.100.100 node01192.168.100.110 node02192.168.100.120 node032、初始化环境2.2.1、安装jdk、安装zookeeper参见之前的jdk以及zk环境安装步骤2.2.2、安装目录规划安装包存放的目录:/export/softwares 安装程序存放的目录:/export/servers 三台机器执行以下命令创建统一文件目录mkdir -p /export/servers m原创 2020-12-17 20:49:23 · 241 阅读 · 1 评论 -
Linux安装anaconda报错
Linux安装anaconda时报错(Anaconda3-5.3.1-Linux-x86_64.sh:行353: bunzip2: 未找到命令)报错原因:缺少bunzip命令解决方法:(1)安装bunzip2库yum install -y bzip2(2)删除之前安装的文件夹rm -rf /root/Anaconda/注意看自己当时安装的路径,默认是root/anaconda3(3)重新安装Anacondabash Anaconda3-5.3.1-Linux-x86_64.sh原创 2020-12-06 11:21:05 · 1350 阅读 · 0 评论 -
马保国(马老师)
大家好,我是马老师刚才有个朋友问我,马老师发生甚么事了,我说怎么回事,他给了发了几张截图。我一看,哦,原来是昨天,有两个年轻人。十八九岁,一个在学C++,一个在学Java。他们说,诶…有一个说他在机房把电脑给跑蓝屏了,马老师你能不能教教我Python,诶…帮助拯救一下我的电脑。我说可以。我说那些高校在机房里教的都是Java, C++, 写死程序,不好用,他不服气。…我说小朋友,你二十行Java来写我这个刚刚编译出的功能,他写不出。他说你这也没用。我说我这个有用,这是Python,传统编程是讲究面向原创 2020-12-02 22:47:22 · 729 阅读 · 2 评论 -
阿里云ACP大数据工程师认证,ACP,阿里云ACP认证,阿里云认证,大数据工程师认证
阿里云ACP大数据工程师认证先放证书镇楼ACP认证考试心得阿里云ACP级专业工程师认证考试不难,只要系统性复习官方文档一次考过其实并不难。大家普遍给出的意见都是要着重复习《阿里云官方文档》,考试题目大多是来自阿里云的官方文档。考试费用ACP认证考试费用1200元,一次考不过没有补考机会,需要重新购买重新考。就是考一次1200元,不限制次数,直到考过为止。考试时间、题型和分数以ACP云计算专业为例:考试时间:120分钟;试卷分数:满分为100分,及格分数为80分,考到80分即可获取ACP证原创 2020-10-29 10:41:20 · 3280 阅读 · 7 评论 -
SyntaxError: (unicode error) ‘utf-8‘ codec can‘t decode byte 0xb7 in position 0: invalid start byte。
启动Django服务时报错SyntaxError: (unicode error) ‘utf-8’ codec can’t decode byte 0xb7 in position 0: invalid start byte。解决方法很简单:把Django编程环境的编码格式改为utf-8就可以了改成utf-8后可以看到服务已经启动成功。打开浏览器输入Django访问地址:如果没有设置过一般会出现一个有火箭的页面,这个时候就说明你的服务已经启动成功。如果有内容就会出现下面的页面。..原创 2020-10-28 09:33:10 · 5253 阅读 · 0 评论 -
正则表达式案例——带你读懂正则表达式
怎么学习正则表达式——轻松学会让人眼花的正则表达式本文利用之前的案例数据访问日志数据进行分析。日志文件的格式主体上是以单个空格来分割的,理论上可以以空格来将他进行分割,但是有一些数据里面自带了空格,所以我们就不能单纯的以文本分割的形式来对他进行分割。所以使用正则表达式来对数据进行分割。定义:正则表达式描述了一种字符串的匹配模式,可以用来检查一个串是否含有某种子串,将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式字符说明:百讲不如一练,看例题例如利用正则表达式来对这一条日志原创 2020-08-05 00:35:55 · 194 阅读 · 0 评论 -
阿里云ACA 使用时间序列分解模型预测商品销量(三)
本文接上一篇使用时间序列分解模型预测商品销量———计算回归的差值dQ发表本博客的目的在于记录笔记,分享经验,无其他任何目的计算回归的差值dQ使用线性回归方程预测出来的是与时间无关因素对产品销量的影响,本实验假设用产品实际销量减去回归模型预测销量就可以得到随时间波动的产品销量。从左侧拖出一个“SQL脚本”,将其重命名为“计算dQ”,连接至“预测Q”,并输入如下代码:select monthno,quantity,prediction_result,(quantity - prediction_原创 2020-07-10 23:33:51 · 808 阅读 · 0 评论 -
阿里云ACA 使用时间序列分解模型预测商品销量(二)
本文接上一篇使用时间序列分解模型预测商品销量———数据预处理发表本博客的目的在于记录笔记,分享经验,无其他任何目的2.1 数据预处理这一步将会使用PAI中的四个组件:“源/目标”–“读数据表”:从MaxCompute读取数据表至PAI;“工具”–“SQL脚本”:可通过SQL脚本编辑器编写SQL语句;“数据预处理”–“拆分”:可以对数据按比例或按阀值进行拆分;“数据预处理”–“缺失值填充”:可以对数据的缺失值进行均值、中位数或按特定规则进行填充。该实验需要使用的数据:链接:https://p原创 2020-07-10 00:14:28 · 711 阅读 · 0 评论 -
阿里云ACA 使用时间序列分解模型预测商品销量(一)
使用时间序列分解模型预测商品销量1.1实验目的1.2实验概述1.3 实验目标1.4 实验工具1.5 实验准备实验资源============== 这是一条分割线 ==============必看:想要直接开始操作点击这里发布本博客皆是为了做笔记,也分享经验。方便日后查看。无任何其他目的1.1实验目的使用时间预测分解模型预测商品销量1.2实验概述本实验对某零售商的一款产品的销量进行了预测及分析。选取线性回归模型,选取了该产品的促销幅度、促销手段对实际销量进行回归;另一部分为时间序列分解建模,对线性回原创 2020-07-09 08:59:45 · 1361 阅读 · 2 评论 -
使用时间序列分解模型预测商品销量(手把手教你如何利用阿里云大数据开发套件进行商品销量的预测)
用时间预测分解模型预测商品销量1.1实验目的1.2实验概述1.3 实验目标1.4 实验工具1.5 实验准备实验资源============== 这是一条分割线 ==============必看:想要直接开始操作点击这里发布本博客皆是为了做笔记,也分享经验。方便日后查看。无任何其他目的1.1实验目的使用时间预测分解模型预测商品销量1.2实验概述本实验对某零售商的一款产品的销量进行了预测及分析。选取线性回归模型,选取了该产品的促销幅度、促销手段对实际销量进行回归;另一部分为时间序列分解建模,对线性回归原创 2020-07-08 23:50:14 · 2766 阅读 · 0 评论