- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pyspark学习-spark.sql.functions normal函数
【代码】pyspark学习-spark.sql.functions normal函数。
2024-01-31 22:19:30
417
原创 pyspark学习-spark.sql.functions 聚合函数
"""作用:返回该组第一个数值,和groupBy合用，会显示分组之后，各个组的第一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第一个数值""""""作用:返回该组第最后一个数值,和groupBy合用，会显示分组之后，各个组的最后一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第最后一个数值"""print("按照age排序前")print("按照age倒排序后")#last。
2024-01-30 23:48:01
639
原创 pyspark之Structured Streaming kafka
【代码】pyspark之Structured Streaming kafka。
2024-01-25 21:59:25
128
原创 pyspark之Structured Streaming window函数-滑动模式
【代码】pyspark之Structured Streaming window函数-滑动模式。
2024-01-21 21:45:29
386
原创 pyspark之Structured Streaming window函数-滚动模式
【代码】pyspark之Structured Streaming window函数-滚动模式。
2024-01-20 23:16:01
405
原创 pyspark之Structured Streaming file文件案例1
测试3：数据按照省份统计后，输出到控制台，分析complete和update输出模式区别,针对该问题，调整输入，province="TaiWan"只会输入1次，即如果输出方式complete,则每batch都会输出，update的话，只会出现在一个batch。# 读取DATA文件夹下面文件，按照省份统计数据，主要考虑window情况，按照window情况测试，同时针对 outputMode和输出console和mysql进行考虑，其中保存到mysql时添加batch字段。# 清理数据，恢复测试环境。
2024-01-20 22:08:14
551
1
原创 pyspark之Structured Streaming文件file案例
【代码】pyspark之Structured Streaming文件file案例。
2024-01-20 22:05:42
430
原创 pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)
【代码】pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)
2024-01-19 20:59:23
406
原创 pyspark之Structured Streaming结果保存到Mysql数据库
【代码】pyspark之Structured Streaming结果保存到Mysql数据库。
2024-01-17 22:22:39
428
原创 pyspark连接mysql
将mysql连接jar包放到服务器spark安装位置的jars下，同时将jar包放到java安装包的jdk/jre/lib/ext下面即可。pycharm远程连接服务器上的spark，mysql时，报错：找不到com.mysql.jdbc.Driver。
2024-01-16 15:09:47
454
原创 mysql8连接报错：public key retrieval is not allowed
mysql8：public key retrieval is not allowed
2022-06-02 08:46:17
199
原创 修改linux时间配置
1.utpdate 时间ntpdate -u time.windows.com210.72.145.44 (国家授时中心服务器IP地址) ntp.sjtu.edu.cn 202.120.2.101 (上海交通大学网络中心NTP服务器地址） s1a.time.edu.cn 北京邮电大学 s1b.time.edu.cn 清华大学 s1c.time.edu.cn 北京大学 s1d.time.edu.cn 东南大学 s1e.time.edu.cn 清华大学 s2a.time.edu.cn
2022-02-25 11:50:04
686
原创 kettle连接Taos数据库
通过Restful形式连接Taos数据库，具体分为以下几个步骤：1. 导入lib放入kettle的lib文件夹下面2. 创建数据源3. 连接数据源即可连接数据库成功。存在问题：1.Restful默认返回10240条数据，修改taos数据库服务器端：/etc/taos/taos.cfg修改 ，重启taos数据库2. 不显示字段名称场景：1.实时数据情况 每隔30s将数据最新状态同步到oracle/mysql关系型数据库，实现模拟实时数据展现。...
2021-11-12 17:46:08
1887
8
原创 ORACLE函数动态查询返回数据集
1. 创建type(显示哪些字段就写哪些字段)CREATE OR REPLACE TYPE JG_TEST_TYPE AS OBJECT ( ID VARCHAR2 (50), IP VARCHAR2 (50))2. 创建typeCREATE OR REPLACE TYPE JG_TEST_LIST AS TABLE OF JG_TEST_TYPE;3. 创建functionCREATE OR REPLACE FUNCTION JG_GET_TABLE_TEST(param varchar2)r
2021-05-08 17:30:42
655
1
原创 flume日志
故障转移(failover)a.sources = s1a.sinks = k1 k2a.channels = c1a.sinkgroups = g1a.sources.s1.type =execa.sources.s1.command = tail -F /tmp/test.loga.sinks.k1.type = avroa.sinks.k1.hostname = localhosta.sinks.k1.port = 44444a.sinks.k2.type = avroa..
2020-10-21 16:41:12
154
原创 flume日记
概念Agent：flume的实例，本质为JVM进程event：flume定义的数据流传输的最小单元sources：数据的来源和方式channels：数据缓冲池sinks： 数据输出的方式和目的地flume常用sources\sinks\channelssources：netcat/avro/kafka/spooldir(针对文件目录上传)/TAILDIR(支持断点上传、多文件上传)sinks：logger/hdfs/hive/avro/hbase/kafkachannels:memory.
2020-10-21 10:57:49
101
原创 flume使用日记
flume安装下载，解压flume文件cd flume/confcp flume-conf.properties.template flume-conf.propertiescp flume-env.sh.template flume-env.shvi flume-env.shexport JAVA_HOME=/usr/javaflume简单编辑mkdir conf-selfvi flume-test.conf#agent:代理名 (任意起名)#配置sources源名称,配置.
2020-10-13 10:59:47
97
原创 openCV第三节
图像模糊图像模糊目的之一是为了图像预处理时降低图像噪声。图像的模糊通常利用卷积来实现。图像模糊以下几种常见的分别为：归一化均值滤波器（API:blur()），中值滤波器（meadian_blur():主要针对椒盐噪声）blur(InputArray src,//输入图像，对通道是单独处理的 OutputArray dst,//输出图像 Size ksize,//内核的大小 Point anchor = Point(-1, -1),//默认，表示锚点在核的中心 int borderTy.
2020-08-18 22:58:26
112
原创 openCV第二节
像素运算import numpy as npimport cv2#四则运算过程中：两个像素相加，如果大于255，则为255，小于0，则为0#加法def pixel_add(image,image1): image_add = cv2.add(image,image1) return image_add#减法def piexl_subtract(image,image1): return cv2.subtract(image,image1)#除法def pixel_divide(i.
2020-08-18 00:26:59
106
原创 openCV初入门第一节（python）
1.加载图片或者视频import cv2#path：文件路径:加载文件def show_image(path) image = cv2.imread(path) #创建窗口 cv2.namedWindow('image',cv2.WINDOW_AUTOSIZE) cv2.imshow(image) cv2.waitKey(40) cv2.destoryallwindow()#加载视频def show_vedio_demo(path): #path如果为0，显示调用自身摄像头 cap
2020-08-16 23:55:05
130
原创 pyTorch学习fizzbuzz训练
#定义fizzbuzz游戏def fizzbuzz_encode(i): if i%15==0:return 3 if i%5==0:return 2 if i%3==0:return 1 else:return 0def fizzbuzz_decode(i,prediction): return [str(i),'fizz','buzz','fizzbuzz'][prediction]def start(i): return fizzbuzz_decode(i,fizzbuzz_enco
2020-08-15 16:35:49
420
原创 简单的文本新闻分类
简单的一个新闻分类，利用sklearn的TfidfVectorizer(tf-idf方法)，对文本进行分类，由于此处文本进行了数字编译，因此没有用jieba处理文本。附上简单代码train_data=pd.read_csv('train_set.csv',sep='\t')train_data.head().append(train_data.tail())test_data = pd.read_csv('test_a.csv',sep='\t')test_data.head().append(te
2020-07-29 22:41:00
220
原创 机器学习-决策树属性分类方法公式
主要简单介绍了ID3、C4.5、CART决策树如何确定不同属性的顺序。ID3:信息熵增益C4.5:增益率CART:gini不纯度1. ID3信息熵计算：H = sum(-Pi*log2(Pi))例子：sexagelabel05011010510100首先看label的信息熵:label分为两类：概率都是1/2,则：-2/4log2(2/4)+(-2/4)log(2/4)=1age的信息熵：age主要有5,10两类，对于age=5
2020-07-29 22:27:54
538
原创 seaborn的boxplot箱线图与数学数据不一致问题
1. 数据x = [70,71,76,78,81,83,85,86,90,93,97]2.数据一共11个数字，中位数:83，1/4位数:76，3/4位数:903.sn.boxplot(x):画图结果如下：，明显3/4中位数不是90，如果集合n为奇数时：中位数：（n+1）/2 1/4位数在第一个数到第(n+1)/2个数中间，两边都是闭集:本题：中位数为：83，1/4位数在[70,71,76,78,81,83]中间，即:(76+78)/2=77,3/4位数在[83,85,86,90,93,97]...
2020-07-08 21:58:09
1408
原创 Sklearn学习第一天：LinearRegression学习笔记
1.LinearRegression初始化参数解释fit_intercept:截距：默认True，可选择Falsenormalize:正则化:默认False，可选择True，如果fit_intercept为False,则normalize被忽视。如果normalize为True,则将特征矩阵X在进入回归之前将会被减去均值（中心化）并除以L2范式（缩放）。copy_X:是否在原矩阵上进行操作。默认Truen_jobs:计算机CPU工作核数属性:coef_:线性回归评估出的参数interce
2020-07-02 22:51:41
565
原创 windows下logstash启动情况
1. 首先下载匹配elasticsearch的logstash2. 解压logstash3. 在logstash/bin文件夹下创建logstash.confinput{ stdin{}}output{ stdout{}}4. 在logstash/bin目录下，运行logstash -f logstash.conf5. 访问localhost:9600,查...
2020-02-20 23:04:17
3304
原创 Elasticsearch简易介绍与操作
1.Elasticsearch简易介绍elasticsearch概念：索引:传统关系数据库中的一个数据库，是一个存储关系型文档的地方 类型：类似于数据库中的表 文档：类似表中的每一条数据 ...
2020-02-19 23:11:08
79
原创 初识ES3 es-head问题描述
es-head安装之后，运行es-head，集群健康值（未连接问题），则停止运行es，cmd:ipconfig,本机的ip，修改config下的elasticsearch.yml文件，将host改为ipconfig下的ip，然后访问：localhost:9100,es-head下的elasticsearch的localhost:9200/修改为ip:9200，点击连接，即可。...
2020-02-15 22:00:37
158
原创 初识ES
1. 下载Elasticsearch,kibana,解压2. 点击Elasticsearch下的bin/elasticsearch.bat，启动elasticsearch3. 启动过程中问题：1.jdk版本过低 2.java未找到（cmd下：java -version即可）4.启动elasticsearch后，访问ip:localhost:9200/,页面显示：{ "na...
2020-02-13 22:46:58
108
原创 Python常见数据结构
Python数据常见数据结构主要包括:list,dict,tuple,set,此外还包括数据分析中常用的dataframe,series。针对这些数据结构，本文主要概述常见的取列、行的方法问题。list = [1,2,3,4] 获取第i个元素:list[i]set = {1,2,3,4} 获取第i个元素：转为list，通过List获取,list(set)[0]tuple1 = tup...
2019-10-02 15:57:44
146
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人