大数据相关技术应用记录
用于记录工作中所应用到的大数据技术(storm、kafka、elastcsearch、redis等)
wzz87
静心做事、一心一意
展开
-
logstash-过滤ES数据到新的ES
背景:过滤ES集群中特定类型的某个时间段的数据到新的ES集群具体操作下:###类型TCCinput{ elasticsearch { hosts => "10.10.x.x:9200" index => "cqct_20200508_03" query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_n原创 2020-06-24 10:21:52 · 1066 阅读 · 0 评论 -
初识图数据库Neo4j
说明:此篇博文是之前总结的,忘记参考是哪篇博文了,若作者介意请联系1、简介NEO4J最有效率的功能就是能够快速查询出任意2个节点的最短链接途径,此功能也填补了一些当前主流数据库的空白。NEO4J高效的遍历算法,查询速度快。2、下载地址(社区版)https://neo4j.com/download-center/#community3、解压tar包tar –zxvf neo4j-community-3.5.13-unix.tar.gz4、修改配置文件neo4j.conf#load csv时.原创 2020-06-24 10:13:58 · 312 阅读 · 0 评论 -
吐血实践-TiDB离线安装
在内网安装TiDB,测试安装了很久,终于实践成功,整理成章,便后查看原创 2020-06-23 16:40:24 · 3279 阅读 · 1 评论 -
ElasticSearch数据迁移报错记录
迁移步骤遇到的问题1、创建仓库报错{“error”:{“root_cause”:[{“type”:“repository_verification_exception”,“reason”:"[my_backup] [[mu3vPb-eTBeom4ElNsSeoQ, ‘RemoteTransportException[[node-1][10.10.77.100:9300][internal:...原创 2020-06-23 16:03:05 · 4388 阅读 · 1 评论 -
HDFS中存储了10多T数据如何升级?
一、背景安全扫描出hadoop2.8.3有安全漏洞,由于公司要求等保三级,我想到最便捷的方式就是升级版本。根据安全扫描报告决定升级到2.9.2。HDFS中有之前花了时间精力迁移的10多T数据,不想再重新迁移二、解决方案hadoop2.8.3的配置和文件不要改动,主要停止相关的进程。1、 修改core-site.xml,将临时路径修改为hadoop2.8.3对应的路径2、修改hdfs-site.xml ,将data和name的路径修改为hadoop2.8.3对应的路径其他的配置文件都是按原创 2020-06-22 14:37:12 · 254 阅读 · 0 评论 -
将ElasticSearch5.1的50+T数据迁移至ElasticSearch5.6
一、背景将ES-5.1.1版本中的50多T的数据迁移到ES-5.6.12版本中,且两个集群在同一局域网。此文档基于centos7系统,实际操作根据系统进行调整。参考:https://www.cnblogs.com/reblue520/p/6784497.htmlhttps://blog.csdn.net/warrah/article/details/78978244采用方式: 使用nfs创建共享文件夹二、NFS准备工作5.1.1版本ES集群:10.10.77.100、10.10.77.101原创 2020-06-22 10:45:43 · 979 阅读 · 0 评论 -
ES5.6.12客户端连接报错Caused by: java.lang.ClassNotFoundException: org.elasticsearch.http.AbstractHttpServe
ES客户端连接报错问题解决搜索了一下网上说是没有添加 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.6.12</version> </dependency>可是我添加了还是报一样的错误一般报这个错误无非就是缺少依赖包或者是原创 2020-05-29 10:16:33 · 4274 阅读 · 1 评论 -
某个文件夹执行命令完全卡死解决方法
参考:https://blog.csdn.net/u010801696/article/details/78490103某个文件夹执行命令完全卡死(ctrl+z,ctrl+c等都不能用)表现:1.在文件夹执行ls等命令卡死;2.在服务器任何地方执行df -h卡死(sudo fdisk -l管用);3.cd 文件夹卡死;产生原因:该文件夹中有一个服务挂载在该文件夹某一目录下,因突然关机等...转载 2020-05-08 17:13:00 · 1043 阅读 · 0 评论