- 博客(130)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 windows下docker环境安装
Win10 下是否开启硬件虚拟化技术，在控制面板，启用 window 功能，找到 Hyper-V 选项，点勾选确认。
2023-12-12 00:08:20
1374
原创 ID生成方案总结
Leaf 提供两种生成的ID的方式：号段模式(Leaf-segment)和snowflake模式(Leaf-snowflake）。你可以同时开启两种方式，也可以指定开启某种方式，默认两种方式为关闭状态。注意：每次重启程序，id就会往前加一个step，不管你有没有用完，如果程序经常重启，step不宜设置过大。如果连接的是mysql1.8以上，需要升级mysql驱动，分别是。优点：有比较成熟的方案，像百度Uidgenerator，version ：版本号，就像MVCC一样，可以理解为。下面是号段模式的配置。
2023-08-04 22:43:36
325
原创 基于minio的dababend部署总结
Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。
2023-07-30 00:13:38
286
原创 Minio部署总结
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等MinIO可单点部署,可分布式集群部署,操作部署方便,可支持扩容,SDK和阿里OSS用起来差不多,刚好满足我的需求,唯一缺陷就是不支持动态扩容。
2023-07-16 21:42:45
3892
1
原创 Spark Stream操作Kafka总结
在master节点上jps可以看到Master进程，在slave节点上jps可以看到Worker进程，可以初步判定集群是否启动成功。在 Master 所在节点上启动和停止worker(work指的是slaves 配置文件中的主机名)scala读取kafka的json数据，处理以后添加字段，保存数据入一个新的topic。java读取kafka的json数据，处理以后添加字段，保存数据入一个新的topic。正常启动spark集群后，查看spark的web界面，查看相关信息。在主节点上启动spark集群。
2023-06-24 18:56:45
747
原创 logstash使用总结
如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。
2023-06-11 21:52:11
3419
原创 ClickHouse基本使用总结
MergeTree，这个引擎本身不具备同步副本的功能，如果指定的是ReplicaMergeTree，会同步到对应的replica上面去。一般在实际应用中，创建分布式表指定的都是Replica的表。分布式表本身不存储数据，数据存储其实还是由本地表t_cluster完成的。这个dist_t_cluster仅仅做一个代理的作用。如果在任意节点创建表以后，其他节点都能同步到表结构，说明集群生效。name String DEFAULT 'lemonNan' COMMENT '姓名',
2023-06-02 16:42:04
3029
原创 ClickHouse集群搭建总结
ClickHouse是俄罗斯最大的搜素引擎Yandex于2016年开源的列式数据库管理系统，使用C++ 语言编写, 主要应用于OLAP场景。使用理由在大数据量的情况下，能以很低的延迟返回查询结果。笔者注： 在单机亿级数据量的场景下可以达到毫秒级的查询性能，单机能处理百亿的数据量， 聚合、计数、求和等统计操作的性能是MySQL的100倍。
2023-06-02 13:40:56
1831
原创 Doris使用总结
Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Doris更优的方面使用更简单，如建表更简单，SQL标准支持更好， Join性能更好，导数功能更强大运维更简单，如灵活的扩缩容能力，故障节点自动恢复，社区提供的支持更好。
2023-04-19 23:18:53
3135
1
原创 TiDB使用总结
查看集群信息编辑扩容文件scale-out-tikv.yaml，写入增加节点的主机相关信息，文件内容如下，注意每行及符号后的空格name: pd-1启动扩容查看集群信息看看是否增加了对应的tikv节点。
2023-04-07 17:00:17
1511
原创 利用chatgpt快速初步学习pandas
最近体验了chatgpt作为编程助手的功能，确实很厉害，只要你擅长提问，找答案很精准快捷，由此可以想到是否能够通过系列提问，快速上手一个工具？以pandas为例，开始提问学习。
2023-03-26 15:28:50
4119
原创 mysql 部分字符存储报错 Incorrect string value问题解决
正常情况 utf-8 是一种可变长度的字符集，它的单个字符的长度范围可以在1~4字节之间变化。由于其支持字符范围广并且传输效率高而被广泛使用。虽然在 Windows 中我们默认用的还是 gbk字符集 ，但是在使用浏览器浏览网站的时候大部分网站其实已经在广泛使用 utf-8字符集了。而在 MySQL 当中由于一些历史原因，其直接支持的 utf-8 格式并非完全版的 utf-8。简单来说，并且抛出 Incorrect string value异常来声明"你输入了我无法识别的字符"。
2023-03-25 09:39:14
3090
原创 mitmproxy使用总结
这官网上的一句话说明mitmproxy的身份，MITM 即中间人攻击（Man-in-the-middle attack），与charles、fidder之类的抓包工具不同的是可以增加一些自定义处理的扩展脚本（Python语言）来实现一些功能；
2023-02-25 21:16:26
1034
1
原创 mysql安装
1.下载并安装MySQL官方的 Yum Repository2.使用yum安装MySQL出现如下图就表示正常3.启动MySQL4.查看mysql状态5.查看mysql初始密码6登录mysqlmysql -uroot -p # 回车后会提示输入密码修改mysql的root密码。
2023-01-08 19:53:45
603
原创 mongoDB使用总结
注意：因为现在最新版的mongodb不兼容win7,对windows系统的最低要求是win10。所以win7系统要安装mongodb数据库必须考虑使用旧版安装。
2022-12-14 12:20:38
1348
原创 python多线程多进程和协程总结
真正意义上的多线程是由CPU来控制的，例如如果一个CPU密集型的程序，用C语言写，运行在一个四核处理器上，采用多线程的话最多可以获得4倍的效率提升。但是用Python写的话，效率不会提高，甚至会变慢，因为Python中的多线程是由GIL控制的，GIL的全称是Global Interpreter Lock（全局解释器锁），Python最初的设计理念在于，为了解决多线程之间数据完整性和状态同步的问题，设计为在任意时刻只能由一个线程在解释器中运行。
2022-10-15 21:41:28
3759
2
原创 python装饰器总结
Python的一个伟大之处在于：方法和函数几乎是一样的(methods and functions are really the same)，除了方法的第一个参数应该是当前对象的引用(也就是 self)。在上面的例子中，装饰器接收一个函数，并返回一个函数，从而起到加工函数的效果。一个函数不止有他的执行语句，还有着 name（函数名），doc （说明文档）等属性，我们之前的例子会导致这些属性改变。property 装饰器用于类中的函数，使得我们可以像访问属性一样来获取一个函数的返回值。
2022-10-08 22:00:52
449
原创 kafka使用总结
zookeeper-3.4.6安装下载地址：https://archive.apache.org/dist/zookeeper/zookeeper安装1、解压zookeeper2、修改配置文件修改配置文件conf/zoo.cfg(把zoo_sample文件改名) mv zoo.cfg.template zoo.cfg #默认是zoo.cfg改dataDir改成/home/zk #存放zookeepr的相关数据3、之后创建目录 mkdir /home/zk4、分别在三台不同的机器写上自己的编号
2022-06-30 20:25:49
338
原创 kafka脚本总结
//新建topic//修改partition数 只能增//删除topic//查看topic列表//查看消费情况//启动消费者//启动生产者//从头开始消费//查看消费积压#查看consumer group列表# 查看指定consumer group详情#查看指定group_id对指定group的消费情况#查看kafka特定topic的详情，使用–topic与–describe参数...
2022-06-30 19:52:33
775
原创 nginx配置ip黑名单
在http模块最后加上配置 黑名单设置: 黑名单示例:black_ip_task.sh创建计划任务白名单设置示例来源Nginx 动态添加IP黑名单_2014Team的博客-CSDN博客_nginx 动态黑名单
2022-06-23 20:30:36
1424
原创 nginx限制ip访问频率
Nginx通过limit_conn_zone 和 limit_req_zone对同一个IP地址进行限速限流，可防止DDOS/CC和flood攻击 。limit_conn_zone是限制同一个IP的连接数。而一旦连接建立之后 。客户端就会通过这次的连接发送多次请求，那么在此期间的请求频率和速度进行限制就需要limit_req_zone连接数限制，相当于限制了nginx与客户端之间的管道个数http区块的配置：server区块配置如下；请求频率 限制，相当于限制了nginx与客户端管道之间水的流速http区
2022-06-23 20:15:19
6703
1
原创 phantomJs使用总结
下载 | PhantomJS 使用封装PhantomJsUtils来源phantomJs_Selenium_java 最全配置访问_菜鸡java程序员的博客-CSDN博客Selenium+Phantomjs做Java爬虫_西红柿丶番茄的博客-CSDN博客_java phantomjs selenium
2022-06-21 00:10:59
595
原创 webDriver以及Selenium使用总结
本地化部署需要下载与chrom版本对应的chromedriver下载位置http://chromedriver.storage.googleapis.com/index.html查看chrome版本点击帮助-关于Google Chrome 也可以查看，但是会引起浏览器更新，不到万一不建议更新浏览器 1.启用ipv4转发先在服务器安装好docker服务，并建议设置好国内加速器（我用的是阿里）。由于docker需要开启端口映射，所以服务器需要启用ipv4转发：2.下载镜像#下载hub镜像#下载chr
2022-06-19 18:24:45
1683
原创 keepalived+lvs实现nginx高可用集群
# 关闭防火墙关闭selinux192.168.10.130192.168.10.131# 安装ipvssudo yum -y install ipvsadm#启动ipvssudo ipvsadm#查看是否支持lvs：sudo lsmod |grep ip_vs 出现如下结果说明安装成功#配置虚拟ip我们需要配置虚拟ip，这是因为我们使用的lvs调度器是DR模式，前面我们讲到过，这种模式下，对客户端的响应是真实服务器直接返回给客户端的，而真实服务器需要将响应报文中的源ip修改为虚拟ip，这里配置的虚
2022-06-11 22:56:33
461
原创 yum使用总结
yum 主要功能是更方便的添加/删除/更新RPM 包，自动解决包的倚赖性问题，便于管理大量系统的更新问题。 yum 可以同时配置多个资源库(Repository)，简洁的配置文件（/etc/yum.conf），自动解决增加或删除rpm 包时遇到的依赖性问题，保持与RPM 数据库的一致性。yum 的配置文件分为两部分：main 和repositorymain 部分定义了全局配置选项，整个yum 配置文件应该只有一个main。常位于/etc/yum.conf 中。repository 部分定义了每个源/服
2022-06-07 12:30:14
2780
原创 nginx使用总结
更新yum镜像源1.备份mv -f /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2.修改CentOS-Base.repo3.清理默认缓存包yum clean all4.生成yum源缓存yum makecache安装nginx更新yum镜像源安装nginx通常生产环境由于安全原因都无法访问互联网。此时就需要进行离线安装，主要有两种方式：源码编译、rpm包安装。源码编译耗费时间长且缺乏编译环境
2022-06-06 23:15:33
234
原创 TransportClient使用总结
优点：使用Transport 接口进行通信，能够使用ES集群中的一些特性，性能最好。缺点：JAR包版本需与ES集群版本一致，ES集群升级，客户端也跟着升级到相同版本。ES 7.0 之后要逐步去掉。
2022-06-01 23:04:29
2218
原创 Elasticsearch的几种Java客户端使用总结
JestClientjest是一批操作es的http api接口，你可以像使用普法方法一下操作es，在springboot2.3.0之前，JestClient是支持自动注入的，而在2.3.0之后，你必须为JestClient写一个组件类，通过注入组件类来使用jest，这一点有些麻烦了。版本对应Jest Version Elasticsearch Version >= 6.0.0 6 >= 5.0.0 5 >= 2.0.0 2 0.1.0
2022-05-26 21:31:42
2143
原创 redis分布式锁和简单秒杀限流的实现
分布式锁看门狗防止死锁redission实现依赖 <!--整合redission框架start--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> &...
2022-05-23 16:45:08
1131
原创 Redis实战总结
bitmap使用场景用户签到准备数据SETBIT key offset value对指定的key的value的指定偏移(offset)的位置1或0, 其中key我们可以设置为当天的年月日，offset是用户uid（这里暂时只考虑uid是纯数字的情况）,value的话1表示已签到。SETBIT 20190601 12500 1SETBIT 20190602 12500 1SETBIT 20190603 12500 1SETBIT 20190601 12501 1SETBIT.
2022-05-21 16:49:54
272
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人