我的大数据
文章平均质量分 65
smile-yan
欢迎留言评论交流~~一定回复~~欢迎留言评论交流~~一定回复~~欢迎留言评论交流~~一定回复~~
展开
-
《十堂课学习 Flink》第八章:Flink Stream 的常用 Operators(map/flatMap/filter/keyBy/Reduce/Window)
基于flink的operator例子(图文介绍)原创 2024-05-05 23:20:58 · 3638 阅读 · 6 评论 -
flink开发常见问题 —— flink-kafka 依赖版本冲突问题
flink kafka 连接配置项目总结原创 2023-03-25 00:32:29 · 10070 阅读 · 3 评论 -
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/flink/
flink 项目开发配置原创 2022-09-02 21:00:00 · 10380 阅读 · 0 评论 -
ES索引(文档名)模糊查询方法(数据库名字模糊的查询方法)
问题描述现在有多个文档,需要同时查它们是不是存在某个字段,并把存在的部分都返回。例如,现在有多个ES文档(可以理解为数据库)service-some-2021-11-20service-some-2021-11-21service-some-2021-11-22servoce-some-2021-11-23现在需要查询四个文档中某 json 属性。解决方法解决方法非常简单,这也正是ES的强大之处,如果查一个文档时填写的 source 参数为 service-some-2021-11-2原创 2021-11-23 12:14:34 · 9732 阅读 · 2 评论 -
ES关键字排序报错 reason=Fielddata is disabled on text fields by default. Set fielddata=true on 关键字 in order
问题描述在使用 java 编写 ES 的查询接口的时候,需要根据某关键字进行排序并返回数据,但是在排序的时候报错如下:ElasticsearchStatusException[Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed]]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argu原创 2021-11-19 17:38:16 · 9701 阅读 · 0 评论 -
es报错:request contains unrecognized parameter [ignore_throttled]
问题描述在使用 Springboot 整合 ES 的时候,使用 Springboot 时,使用的是 Springboot data 提供的工具,具体依赖如下: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </depende原创 2021-11-18 23:19:48 · 28420 阅读 · 6 评论 -
java.lang.NoClassDefFoundError: org/elasticsearch/client/core/MainResponse
问题描述Springboot项目添加 es 依赖后,报错:java.lang.NoClassDefFoundError: org/elasticsearch/client/core/MainResponse。具体而言:当我新建 springboot 项目后,已经测试可以正常运行,什么都没做的情况下,添加了三个依赖:<dependency> <groupId>org.springframework.boot</groupId> <artifact原创 2021-11-17 12:54:52 · 10047 阅读 · 2 评论 -
flink-kafka 简单例子(java) map, filter, sink
问题描述很久以前实习的时候接触flink,并且在此方面做了很多工作,但是过了几年时间,居然再次搭建 kafka-flink 会遇到那么多困难,无意间翻到那个时候写的文档,这里再次总结并公开一下,希望也能帮到需要的人。效果描述首先必须强调一点:以下内容并不是以 flink 的job的方式在flink中运行,但是,可以打包成 jar ,然后提交到 flink 中运行。因为本地测试的需要,一般这种入门级别,用来验证 kafka 的项目,本地运行即可。当启动本地 IDE,即进入监听 kafka 的状态,然原创 2021-10-30 18:40:26 · 9776 阅读 · 0 评论 -
解决hdfs 运行在9000端口外界不能访问
问题描述默认情况下,hdfs运行在 127.0.0.1:9000,也就是说只运行在本地,而不是0.0.0.0,像Tomcat不管在云服务器还是虚拟机上,启动后我们直接可以用ip加端口地址访问,但是hdfs不可以。这样带来的麻烦就是:每次都需要打包jar,然后上传到云服务器或者虚拟机中运行。不能直接在eclipse或者idea上运行。解决方法关键字: 内网穿透 工具使用:natapp基本...原创 2019-10-28 19:55:29 · 10563 阅读 · 1 评论 -
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for sc
问题描述java代码,打包到虚拟机,希望运行后在HDFS创建一个文件夹 /java。代码如下:public class HdfsStart { private FileSystem fs; // 初始化 public void init() throws URISyntaxException, IOException, InterruptedException { ...原创 2019-10-21 20:09:32 · 10055 阅读 · 0 评论 -
Elastic Search 7 与 Kibana 在linux上的安装与配置
编写目的总结ES的安装与配置,同时也介绍官方提供的工具的配置。运行环境说明JDK 1.8+,可以是Oracle JDK,也可以是Open JDK。系统: Linux下载与上传极力推荐在官网上下载最新版本。如果考虑工业生产的稳定性,可以考虑下载7.2版本。官网地址:https://www.elastic.co/cn/products/elasticsearch ,这里下载的是ela...原创 2019-10-21 16:54:07 · 9639 阅读 · 0 评论 -
Maven 打包插件的使用
编写目的java开发,尤其是在大数据开发的时候,需要打包jar文件然后提交,在选择使用Idea开发工具的时候,使用这个插件可以简化打包过程。使用方法复制下面代码到pom文件中。修改main方法的路径。打包。 <build> <plugins> <plugin> <g...原创 2019-10-18 13:52:10 · 9622 阅读 · 0 评论 -
Hive的安装与配置
一、Hive 简单介绍1. 什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。由Facebook 开源,最初用于解决海量结构化的日志数据统计问题构建在Hadoop之上的数据仓库Hive 定义了一种类SQL查询语言:HQL通常用于进行离线数据处理 (采用MapReduce)底层支持多种不同的执行引擎支持多...原创 2019-10-18 12:23:28 · 9784 阅读 · 0 评论 -
flink1.8集群教程(Standalone Cluster)
Flink集群 - Standalone Cluster总体目标三台服务器,192.168.112.130作为jobmanager,131与132作为slaver,完成Flink集群。具体过程首先下载flink1.8.0,并且分别在三台服务器上进行解压。配置 jobmanager。找到130下的,flink/conf/flink-conf.yaml 文件,编辑这个文件,找个jo...原创 2019-07-29 10:42:01 · 9658 阅读 · 0 评论 -
Redis集群教程
Redis 集群(Redis 5.0.5)总体目标在两台机器上部署Redis集群,用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master、3 salve 环境,分别是192.168.112.130与192.168.112.131,每台机器上使用6600,6700,6800三个端口。下载与解压wget http://download.redis.io/releases/red...原创 2019-07-31 11:24:26 · 9639 阅读 · 0 评论 -
ElasticSearch7 如何删除单个文档
1. 编写目的由于ElasticSearch7和以前的版本有所不同,所以在使用新版本时,也需要去官网查看新的文档,找到对应的解决方法。这里是介绍es7.2如何删除单个文档。es7版本其他简单操作,比如添加文档,删除索引,模糊搜索,多条件搜索等可以参考【elastic search7 java开发简单教程】https://blog.csdn.net/smileyan9/article/detai...原创 2019-07-21 08:31:24 · 10440 阅读 · 0 评论 -
elastic search7 java开发简单教程
1. 编写目的简要介绍elastic search 7 的java开发过程。2. 具体内容依赖包引入。<!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --><dependency> <groupId>org.elasticsearch</gro...原创 2019-07-06 12:20:46 · 11804 阅读 · 2 评论 -
elastic search 集群教程(Elastic Search 7)
Elastic Search 集群总体目标三台服务器192.168.112.130 、131 、132,进行es集群。具体过程找到 config/elasticsearch.yml 文件,配置集成名称。cluster.name: my-cluster配置节点的名称,根据服务器不同更改不同的名称。node.name: node-1配置其他节点地址信息,根据服务器不同...原创 2019-08-01 08:22:56 · 9672 阅读 · 0 评论 -
带参数启动Flink任务
1.编写目的启动Flink任务方法的命令为 bin/flink run examples/myflink.jar但是有时候我们启动时需要向里面传入一些参数,比如配置文件的路径。2.详细过程启动Flink任务时,需要添加参数path,指定配置文件的绝对路径。比如:bin/flink run examples/myflink.jar -path /usr/local/config/confi...原创 2019-08-14 17:24:01 · 12031 阅读 · 4 评论 -
ES模糊查询(任意位置模糊)
编写目的总结一下实际项目开发中遇到的问题以及解决方法,也供其他伙伴们查看,交流。具体过程在elastic search7 java开发简单教程 中提到四种模糊查询,并且编写了prefix例子(即模糊字段在后面),但是实际情况可能包括其他位置模糊的情况,今天正要遇到了这个需求,项目经理让我根据某个excel表,根据里面的字段,把所有以这些字段结尾的图片的url拿出来,给做算法的训练模型。也就...原创 2019-08-20 16:59:44 · 19740 阅读 · 13 评论 -
ES条件删除
编写目的总结一下ES条件删除的方法,因为实际项目中需要这个功能。如果不编写代码,使用query语句进行删除如果不方便,或者说不想编写代码,并且安装配置好kibana这个工具的话,推荐使用kibana,然后使用query语句进行删除,非常的简单,方便。官方文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/docs...原创 2019-08-22 16:05:25 · 16107 阅读 · 2 评论 -
Hadoop 3.x+快速入门(从安装配置到官方demo)
参考资料: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html环境说明配置好网络的虚拟机(或云服务器),系统是CentOS 7Hadoop 的版本号是 3.1.2安装 openjdk$ sudo yum -y install java-1.8.0-op...原创 2019-09-13 10:55:03 · 9628 阅读 · 0 评论 -
Elastic Search 7.x 安装常见问题
编写目的根据 我的这篇博客,https://blog.csdn.net/smileyan9/article/details/99843309 木木KO 的评论,特此回复他遇到的问题,如果有遇到类似问题的,不妨参考一下;如果遇到了其他问题,欢迎留言评论!欢迎使用我已经安装配置好了的Elastic Search云服务为了方便,我在云服务器上安装了Elastic Search,伙伴们也可以玩一下...原创 2019-09-14 23:41:58 · 9622 阅读 · 4 评论 -
kafka集群教程( kafka_2.12-2.1.1)
kafka集群官网教程地址:http://kafka.apache.org/quickstart总体目标使用三台服务器搭建kafka集群(192.168.112.130 192.168.112.131 192.168.112.131 )详细过程下载,解压与配置。首先下载 kafka_2.12-2.1.1并且解压,三台服务器操作一样。然后进入kafka的config文件夹,编辑se...原创 2019-07-30 08:38:26 · 9645 阅读 · 5 评论