- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【DOCKER】Docker 安装ElasticSearch，Kibana【单机免密版】
一、安装ElasticSearch 7.5.11、拉取ElasticSearchdocker pull elasticsearch:7.5.1如果拉取过慢可以参考这篇博客：docker 下载慢如何解决2、配置elasticsearch.yml文件 注：docker pull下来的包一般都是在/var/lib/docker/路径下find /var/lib/docker/overlay2/* -name "elasticsearch.yml"查找的时候一般一个版本的时候只有一个e.
2020-07-21 21:01:02
706
原创 【DOCKER】docker 下载慢如何解决
1、修改daemon.json，如果没有touch一个（touch daemon.json）cd /etc/dockersudo vim /etc/docker/daemon.json#插入{ "registry-mirrors": [ "https://v4xfftbe.mirror.aliyuncs.com", "https://almtd3fa.mirror.aliyuncs.com", "https://hccwwfjl.mirror.aliyuncs
2020-07-20 20:43:47
518
原创 【KAFKA】centos6 搭建kafka
一、官网 http://kafka.apache.org/downloads.html二、Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，
2020-07-16 15:00:49
361
转载 乐观锁和悲观锁的使用场景及应用
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://blog.csdn.net/shanxiyaofeng/article/details/85100131一、定义1、乐观锁：顾名思义，对每次的数据操作都保持乐观的态度，不担心数据会被修改，所以不会对数据进行上锁。由于数据没有上锁，这就存在数据会被多人读写的情况。所以每次修改数据的时候需要对数据进行判断是否被修改过。2、悲观锁：与乐观锁相反，对每次的数据操作都保存悲观的态度，总是担心数据会被修改，所以在自己
2020-07-12 22:54:43
800
转载 Kafka文件的存储机制
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://www.cnblogs.com/jun1019/p/6256514.htmlKafka文件的存储机制同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是500兆，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（
2020-07-12 22:52:05
207
转载 HDFS文件读写流程
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://www.cnblogs.com/whoyoung/p/11195698.html存储流程a)Clinet首先将要存储的数据切分成若干块，然后向NameNode发送存储请求，b)NameNode检查权限、存储文件是否已存在等信息，确认无误后返回允许存储的响应，这个响应还包括第一个Block要放在哪个DataNode哪个的地址的信息。c)C...
2020-07-12 22:45:45
151
原创 【MYSQL】Mysql 使用group_concat函数 出现拼接的数据缺失
问题出现的背景： 需要对hive 中的元数据进行concat 操作，在把concat后的数据导入的另一张数据表时发现后面的数据被截取了，如下图：解决思路： 1、查询hive 元数据找出所有的columns#根据表名查询sd_idselect sd_id from TBLS where tbl_name='dwd_clue_detail_dt';#根据sd_id 查询cd_idselect cd_id from SDS where sd_id=642...
2020-07-07 20:37:05
2023
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人