- 博客(27)
- 收藏
- 关注
RSS订阅原创 Elasticsearch地理坐标 GEOHASH java API如何实现拿到里面的每一个geohash
在es查询里如图所示参数不懂的可以参考https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-geohashgrid-aggregation.htmljava api如何实现拿到每一条key也就是geohashAggregationBuilder aggregationBuilder =AggregationBuilders.geohashGrid("large-gri.
2021-11-30 11:22:41
300
原创 2021-08-16 Linux操作命令学习笔记
Linux操作命令3.1.1 终端、shell命令提示符、bash基本语法 登录终端：终端仿真器、远程连接终端工具 tty命令查看当前所属的虚拟终端 /dev/pts/0 /dev/pts/1 快捷键：打开终端shift+ctrl+n 字体放大shift+ctrl+加号 字体缩小shift+ctrl+减号 echo 输出 同一服务器不同终端间的通信：echo xuegod > /dev/pts/1 十分钟后关机：shotdown +10 其他终端都能看到 终止关
2021-08-17 10:05:46
174
原创 expected START_TAG or END_TAG not TEXT (position: TEXT seen ...＜/dependency＞\ub\n ＜d... @38:11) more
今天在引入依赖导入jar包时候发现了这个错误：原因是在我复制时候多了一个空格导致格式不对，删除空格重新运行就好了报错：expected START_TAG or END_TAG not TEXT (position: TEXT seen …\ub\n <d… @38:11) more… (Ctrl+F1)...
2021-06-05 18:47:28
1289
1
原创 分布式实时计算——2.5 支持的数据类型总结&富函数
一.基础数据类型：支持的数据类型1.基础数据类型：Flink 支持所有的 Java 和 Scala 基础数据类型，如Int, Double, Long, String, …2.Java和Scala元组（Tuples）：3.Java简单对象（POJO）：如之前定义过的WordCount4.Scala样例类（Case Class）：5.其它（ Arrays, Lists, Maps, Enums, 等等）：二.富函数...
2021-05-27 17:00:32
109
原创 分布式实时计算课程学习（2.3）——Transform API
3.filter示例：把温度大于30的过滤输出代码：package com.edu.neusoft.bigdata.flink.source;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.S.
2021-05-16 16:46:26
97
原创 分布式实时计算课程学习（2.4）—— Sink API
官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink.kafka sink示例：1.启动zk、kafka：$ zkServer.sh start$ cd /usr/local/kafka$ bin/kafka-server-start.sh config/server.properties2.在kafka上创建一个topic t2：3.在realtime工程的pom.xml文件中添加如下依赖（如果之前已添加则忽略）：<dependency>
2021-05-16 16:22:59
452
原创 IDEA时ctrl+鼠标点击方法名不是.java文件
在看老师视频回放时候发现使用IDEA时ctrl+鼠标点击方法名不是.java文件。（我好像弱智）解决办法点击右上角的Download Sources下载源码就好了注释啥的都有了。
2021-05-15 19:22:43
291
原创 报错：javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_notify
报错javax.net.ssl.SSLException: closing inbound before receiving peer’s close_notify解决办法配置连接数据库的url时，表名后面加上?serverTimezone=GMT%2B8&useSSL=false
2021-05-14 00:11:25
217
原创 分布式实时计算课程学习（2.2）——Source API
目录2.2.1 文件Source示例：1.示例数据：2.操作过程3.最终代码2.2.2 Socket Source2.2.3 集合Source示例：1.操作过程2.最终代码2.2.4 Kafka Source（主要）示例：1.虚拟机环境启动zk、kafka：2.在kafka上创建一个topic t1：3.在realtime工程的pom.xml文件中添加如下依赖：4.编写class：2.2.1 文件Source基于文件：readTextFile(path)读取文本文件，文件遵循TextInputFor
2021-04-23 18:08:20
175
原创 分布式实时计算课程学习（2.0）——实时大数据计算框架Flink
目录2.1 执行环境Environment2.2 Source API2.3 Transform APIval rdd = sc.parallelize(list)val rdd1 = rdd.flatMap(line => line.split(" "))val rdd2 = rdd1.map(line => (line,1))val rdd3 = rdd2.reduceByKey((a,b) => a+b)rdd3.collect...
2020-10-06 23:48:37
1734
原创 Scala——map，flatMap操作
目录Map操作flatMap操作Map操作map操作是针对集合的典型变换操作，它将某个函数应用到集合中的每个元素，并产生一个结果集合。例如：通过map操作对列表的中每个字符串进行变换，让每个字符串都变成大写字母，这样变换后就可以得到一个新的集合scala> val name = List("wuhan", "yangtuo", "beige")name: List[String] = List(wuhan, yangtuo, beige)scala> name.map(s =>
2020-09-29 23:02:52
569
原创 Scala——三个容器：List Set Map
列表(List)intList定义一个列表，intList.head返回列表头部，也就是第一个值，而intList.tail返回的是列表的尾部但返回值仍是一个列表例如：scala> val intList = List(1,2,3,4,5,6,7,8)intList: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8)scala> intList.headres17: Int = 1scala> intList.tailres18: Lis
2020-09-26 12:13:18
181
原创 Scala——if，while，for循环语句
if循环语句if条件是否为真，如果为真，就执行对应的语句块，如果为假，就执行下一个条件分支。scala> val x = 6x: Int = 6scala> if (x>0) {println("This is a positive number") | } else { | println("This is not a positive number") | }This is a positive numberif表达式的值可以赋值给
2020-09-25 18:52:08
548
1
原创 R数据分析——画图——散点图plot，柱状图barplot，箱线图，分组柱状图barplot
目录1.画图1.1 散点图plot2.2 柱状图barplot以及各种色系2.文字元素2.1 text控制字体2.2 cex控制文字大小2.3点元素1.画图1.1 散点图plotcolors()#查看颜色都有哪些#plot散点图dev.new()例：plot(0:4,type=“n”,axes=F,xlab=NA,ylab=NA)#type(n)空白面板，axesz坐标轴，xlab=NA,ylab=NA坐标轴的名字#对其他图形参数颜色进行设置#col.axis坐标轴的颜色，col.lo
2020-09-22 16:37:55
3327
原创 R语言分析——流程控制if else for while，如何定义函数
目录流程控制if else for while如何定义函数流程控制if else for while#if elsescore<-79if(score>=80){print(“A”)}else if(score>=60){print(“B”)}else{print(“C”)}#fornum<-1:10for(i in num){if(i%%2==0){print(i)}}#whilenum<-5while(num>0){
2020-09-20 16:17:39
258
原创 R数据分析——数据框，因子
目录数据框数据框#创建数据框stu.name <-c(“xinyu” , “anqi”)stu.id <- c (1001,1002)stu.info <- data.frame (stu.name,stu.id) ; stu.infostr (stu.info)#访问stu.info$stu.namestu.info[,1]stu.info[1,]#添加新列stu.info$age <- c(16,19);stu.info#查询stu.info
2020-09-15 21:59:00
373
原创 R数据分析——数组，列表
目录数组列表数组#创建数组test1 <- matrix(sample(90:100,6,replace = F),nrow=2)test1test2 <- matrix(sample(90:100,6,replace = F),nrow=2)test2test <- array(data=c(test1,test2),dim= c(2,3,2))#dim表示维度 2,3表示两行三列，2个testattributes(test) #attributes查看属性s
2020-09-14 23:22:43
234
原创 R数据分析——矩阵
**这里写目录标题矩阵矩阵**#创建矩阵m<-matrix(1:8,nrow=2,byrow=T)#nrow行数，byrow按行顺序#矩阵运算m1<-matrix(1:4,nrow=2)m2<-matrix(2:5,nrow=2)m1+m2m1*m2> m1+m2 [,1] [,2][1,] 3 7[2,] 5 9#矩阵索引,逗号的位置决定列还是行m<-matrix(1:12,nrow=4)m[,2:3
2020-09-10 23:58:55
605
1
原创 R数据分析——安装，数据类型转换，向量
R数据分析R中安装与使用包卸载与移除包基本数据类型（六种）数据类型转换运算符R中的数据结构向量R中安装与使用包R中的包存储在计算机上名为library的目录下✓ 使用函数libPaths ()可以查看该文件夹在计算机中的具体路径✓ 函数library ()显示已安装的包的列表✓ 函数search ()显示已加载的包的列表✓函数install.packages()进行下载安装例如✓函数install.packages(“stringr”) 安装一个用于字符串处理的包包安装后还需要载入到内存
2020-09-06 16:03:12
790
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人