- 博客(122)
- 收藏
- 关注
RSS订阅原创 HTTPSConnectionPool(host=‘seller.kuajingmaihuo.com‘, port=443): Max retries exceeded with url: /oms/
这个错误是由于在尝试建立SSL连接时发生了EOF错误。这可能是由于服务器的SSL证书有问题，或者客户端和服务器之间的SSL/TLS协议版本不匹配。File “D:\新建文件夹 (2)\3-seller-kuajingmaihuo-com-base.py”, line 52, in。
2024-04-08 17:46:35
529
原创 npm install jsencrypt爆错
如果问题是由于淘宝的 npm registry 的证书过期引起的，那么很可能会在不久的将来修复。你可以等待一段时间，然后再次尝试安装。尝试切换到官方的 npm registry，它通常不会出现证书过期的问题。包时遇到了证书过期的问题。这可能是因为淘宝的 npm registry 的证书已经过期或者有其他问题。这个错误表明 npm 在尝试从淘宝的 npm registry 下载。确保你使用的 npm 版本是最新的。包的压缩文件，然后通过本地安装的方式安装该包。包时遇到的证书过期问题。包的压缩文件下载链接。
2024-03-25 10:22:56
660
原创 Python乱码恢复
乱码恢复网站，可以知道是什么编码http://www.mytju.com/classCode/tools/messyCodeRecover.asp。那么这样操作就可以还原数据：res.text.encode(‘ISO-8859-1’).decode(‘utf-8’)比如说网页是ISO-8859-1编码，然后requests得到的是乱码，
2024-03-06 11:34:33
325
原创 scrapy发json的post请求
3行和4行都是json的post请求，但是最好加上（“Content-Type”: “application/json”,）请求头。这在发送 POST 请求时很有用，特别是当你需要向服务器传递 JSON 格式的数据时。会自动将其转换为 JSON 格式，并设置请求的 Content-Type 为。会将这些数据编码为表单形式，并设置请求的 Content-Type 为。参数用于发送表单数据，通常使用在 POST 请求中。字典编码为表单形式，并将其作为请求的正文发送。是两个常用的参数，用于传递不同类型的数据。
2023-11-10 19:38:11
626
原创 kafak汇总
如果消费者组内没有已提交的偏移量，则消费者会引发异常。这个选项用于强制要求消费者组内的每个消费者都有明确的偏移量。参数来控制消费的起始位置。这个参数决定了当一个新的消费者加入一个消费者组时，它从哪里开始消费消息。: 消费者会从最早的可用消息开始消费。即使在消费者加入消费者组之后，也会从最早的消息开始。: 消费者会从最新的消息开始消费。即使在消费者加入消费者组之后，也只会消费新产生的消息。，这意味着消费者会从最早的消息开始消费。在Python中使用Kafka消费者，您可以通过配置。为您的实际配置信息。
2023-11-01 13:49:38
217
转载 MySQL5.6.30升级到8.0.33
1、在MySQL 8.0.16之前，需要手动调用mysql_upgrade工具升级performance_schema，INFORMATION_SCHEMA。从MySQL8.0.16开始，mysqld工具自动完成由之前的mysql_upgrade工具处理的所有任务，不再需要运行mysql_upgrade，且不建议使用mysql_upgrade。2、建议在升级到下一个版本之前升级到最新版本。3、不推荐：不支持跳过版本的升级(in-place)，例如：不支持直接从 MySQL 5.6 升级到 8.0。
2023-10-31 23:49:21
186
原创 centos格式化硬盘/u盘的分区为NTFS格式
如果提示找不到ntfsprogs和ntfs-3g安装包，则运行下文命令，如何安装ntf相关包，如何运行mkfs.ntfs格式化硬盘即可。
2023-10-26 20:30:56
1161
2
原创 es查询限制10000，使用scroll
这个错误提示意味着你正在尝试从Elasticsearch中检索大量的数据，但是你的请求超过了Elasticsearch的默认结果窗口大小限制。为了解决这个问题，你可以使用Elasticsearch的scroll API来检索大量的数据。API允许你在多个请求之间保持搜索上下文，以便你可以逐步检索大量的数据，而不会超出默认结果窗口大小的限制。总之，建议你使用scroll API来检索大量的数据，以避免超出默认结果窗口大小限制。
2023-10-25 16:58:24
339
原创 mysql设置唯一性索引，仍有重复数据
唯一性索引里有值为NULL时，相同数据就可以共存；都不为NULL时，相同数据不能共存。因为好像是NULL被当成不同值了。
2023-10-25 13:43:54
271
原创 kafka集群穿透到公网实现过程
内网脚本配置地址为192.168.0.11:9092，通过该地址连接到kafka，然后获取到（SASL_PLAINTEXT:// x.x.x.x:9092，SASL_PLAINTEXT:// x.x.x.x:9093）外网脚本配置地址为 x.x.x.x:9092，通过该地址连接到kafka，然后获取到（SASL_PLAINTEXT:// x.x.x.x:9092，SASL_PLAINTEXT:// x.x.x.x:9093）效率更高，也节省云服务器带宽。
2023-09-26 17:52:30
578
原创 从table1 里获取每个person_id最大end_date的数据。（inner join）
下面这个不行，因为下面这个sql，如果end_date相同，对于每个person_id只能获取一条数据。而不能把end_date为最大日期的都拿出来。从table1 里获取每个person_id最大end_date的数据。
2023-09-26 14:12:05
57
原创 pycharm 2019.3.4提交代码前的Perform code analysis
Perform code analysis（执行代码分析）：此操作将自动运行PyCharm的代码分析工具，以检查您的代码中是否存在潜在的问题、错误或不规范的用法。Perform code analysis（执行代码分析）：此操作将自动运行PyCharm的代码分析工具，以检查您的代码中是否存在潜在的问题、错误或不规范的用法。它可以帮助您确保代码文件中的版权信息是最新和准确的。Reformat code（重新格式化代码）：此操作将自动对您的代码进行重新格式化，以符合您在PyCharm中配置的代码样式规范。
2023-09-20 18:21:30
184
原创 SELECT DISTINCT not in 改为使用 JOIN 操作
请注意，优化 SQL 查询的效果取决于数据库的结构、数据量和配置等因素。建议在进行任何更改之前，在测试环境中进行适当的基准测试和性能评估。
2023-09-20 11:53:05
89
原创 云服务器文件传到本地（通过cos传输，速度快）
此外，腾讯云服务器与COS之间的网络连接通常具有较高的带宽，可以提供更快的上传速度。总的来说，在腾讯云服务器上进行COS上传文件通常是一个快速和可靠的选择，特别是当您的服务器和COS存储桶位于同一地域时。另外，腾讯云还提供了基于私有网络（VPC）的COS服务，可以在VPC内部直接访问COS，进一步提高上传速度和安全性。导航到访问管理（CAM）控制台：在控制台首页，点击右上角的用户名，选择 “访问管理” 进入访问管理控制台。创建访问密钥：在访问管理控制台，选择左侧的 “访问密钥”，然后点击 “新建密钥”。
2023-09-19 14:26:38
698
转载 记录kafka上线N天后自动崩溃的bug分析和优化策略
看报错，很明显，OfflinePartition转化为OnlinePartition状态时，需要找到最新的leader，但是找不到（leader和follower都是自己），导致状态转换失败。通过grafana观测，排除cpu，内存和磁盘，这三项负载都没有问题，峰值网络2M/s的IO，排除flink写过快问题(这点吞吐量还是没问题的)，所以无需优化 异步写，增大写缓存 和 增大溢写磁盘频率 这些写优化。显然，原因只能是2和3。修改副本数，这样即使出现问题，leader可以重新选举，提高的容错。
2023-09-13 11:05:25
253
原创 mysql CONCAT使用
请注意，这个SQL语句假设您的数据库中有名为fund_nv_divident、base.fund_dividend_split和audit.fund_dividend_split的表，并且这些表包含所需的列。希望这个sql语句的 fund_id和statistic_date不能同时出现在SELECT DISTINCT fund_id,statistic_date from audit.fund_dividend_split结果的一行里。fund_id等于’JR348669’请写出满足需求的sql语句。
2023-09-04 20:03:08
409
原创 监控网卡，如果网卡故障，重启网卡
1.lost_rate变量赋值的时候，等号附近好像不能有空格。2.还有if判断的时候，好像里面也是要标准格式，都是一个空格。
2023-08-27 10:37:31
124
转载 Zookeeper 与kafka 部署
从图2-10中可以看出，除打印Kafka业务数据的主题（Topic）名称外，还打印出Kafka系统内部主题——_ _consumer_offsets，该主题用来记录Kafka消费者（Consumer）产生的消费记录，其中包含偏移量（Offset）、时间戳（Timestamp）和线程名等信息。（2）配置注意事项。在配置的dataDir目录下创建一个myid文件，该文件里面写入一个0～255的整数，每个Zookeeper节点上这个文件中的数字要是唯一的。本书的这些数字是从1开始的，依次对应每个Kafka节点。
2023-08-22 14:43:42
139
原创 我的动态归纳（便于搜索）
实际工作中，经常遇到一些需要很长时间才能完成的任务，例如压缩一个40G的目录，或者复制很大的文件。linux dns配置文件是“/etc/resolv.conf”，该配置文件用于配置DNS客户，它包含了主机的域名搜索顺序和DNS/服务器的地址，每一行包括一个关键字和一个或多个空格隔开的参数。from .bird_base import BirdBase------改为-----> from python_learning.bird_base import BirdBase。
2023-08-21 18:59:04
2424
原创 获取历史dokcer镜像项目，并上传gitlab，再打包镜像管理
今天遇到一个问题： 发现一个部署在Jenkins的脚本用的docker镜像是：test_project:v20191108，即这个项目是19年的一个版本，由于代码不断更新，用现在的最新代码运行该脚本，可能不能运行了，必须用19年的代码才可以。因为一些原因，可能要修改这个脚本的某些配置。所以，准备从19年的docker镜像里，获取但是版本的代码。然后把该代码提交到原项目的一个新分支里。然后package jenkins进行管理。打包镜像，再修改jenkins脚本镜像名为新镜像名。Dockerfile模板。
2023-08-09 22:51:42
1624
转载 jenkins-干掉僵尸进程
Jenkins.instance.getItemByFullName(“清洗任务1”).getBuildByNumber(9711).delete();原文链接：https://blog.csdn.net/qq_40308101/article/details/125806891。版权声明：本文为CSDN博主「萌翻天」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。看了几篇文章，发现这个最好用（就是jenkins任务一直卡着，×不掉的用命令行清理）
2023-07-05 11:52:43
150
原创 xpath解析列表为空的情况
scrapy自带xpath，不需要通过etree.HTML解析。还有一点就是scrapy的xpath以后要.extract()一下，才变成列表类型，这一点和etree有点区别。发现这种写法解析不出来数据：（这种绝对路径的写法）这种相对路径的写法可以解析出数据（用的相对路径）
2023-06-25 20:14:52
555
转载 使用物理备份恢复数据库
xbstream -x --decrypt=AES256 --encrypt-key-file= --parallel=2 -C /data/mysql < /data/test.xb。在实例管理页面，选择备份恢复 > 数据备份列表页， 选择需要下载的备份对应的解密密钥，在操作列单击下载密钥。在实例管理页面，选择备份恢复 > 数据备份列表页， 选择需要下载的备份，在操作列单击下载。登录 MySQL 控制台，在实例列表，单击实例 ID 或操作列的管理，进入实例管理页面。
2023-06-12 18:46:04
168
原创 pycharm配置add configuration
2.添加解释器环境的时候，注意选择Script path,而不是Module name。猜想应该就是误把Module name当成Script path了，导致报错。1.打开当前项目，而不是把多个项目在一个窗口打开（注意项目路径）。pycharm配置add configuration。注意一定要选择上Script path！
2023-06-08 19:14:38
692
原创 搭建lanproxy客户端与服务端实现内网穿透
场景二： 公司在的数据库在云服务器上，但是为了安全着想，mysql的服务器没有公网ip，外网设备都不能直连mysql服务器。但是关了终端，再开个终端，再打印发现正常了，没有叠加。设置后端IP端口为： 10.xxx.xxx.xxx:3306 (这个是mysql云服务器在所在服务器集群的内网IP)腾讯云-总览-我的资源-云服务器-选择lanproxy服务端所在服务器-安全组-然后去添加所需开放的端口即可。后续就可以使用： 云服务器公网IP+设置的公网端口 来访问没有公网IP的mysql云服务器了。
2023-06-08 14:58:04
1270
原创 pip换国内源 & 单次使用国内源 & requirements.txt批量安装
（比如说当创建一个pip.ini文件时，右键创建文本文件，然后命名为pip.ini，其实它后缀会加个txt后缀名，导致该文件不生效，所有显示后缀名，才能手动删掉这个txt的默认后缀名）当一层层打开文件时，有时候发现找不到AppData目录，其实是该目录被隐藏了，文件管理器，上行点击查看，然后把 '隐藏的项目’勾选上就可以看到该目录了。然后在cmd或pycharm的终端，运行：pip install requests，根据输出，就可以判断出更换国内源成功。
2023-06-06 19:14:15
5155
原创 mysql主从复制配置
2.如果mysql服务已经开启，要重新启动来加载新的配置文件。mysql主服务器配置文件 my.cnf。mysql从服务器配置文件 my.cnf。1.mysql配置文件内容及含义阐述。
2023-06-02 13:42:59
128
原创 删除docker镜像标签为none的镜像
在Jenkins中，会始终pull 标签为latest的镜像。当本地镜像和仓库镜像id不一致就会被拉下来。然后本地的老镜像就被设置为none了，所有要经常清理。查看所有标签为none的docker镜像。查看所有docker镜像。
2023-05-30 12:05:47
335
原创 将项目代码制作成镜像，再保存成 tar 归档文件全过程
如果只需要导入容器的文件系统，并将其转化为一个新的镜像，则可以使用 docker import 命令。（即每分钟判断一下git代码是否有更新，如果更新就pull最新的代码，然后自动运行构建步骤）如果需要导入整个镜像，包括镜像层级结构和元数据，则应该使用 docker load 命令。1.docker load导入使用 docker save 命令导出的镜像。docker import一般与docker export 配合使用。docker load一般与docker save 配合使用。
2023-05-26 17:01:20
1325
1
原创 路由器下层设备可以直接访问路由器上层交换机的设备
列如路由器2下的一windows主机192.168.2.66 可以直接通过ssh连接到交换机下的一Linux服务器192.168.0.77。但是在该Linux服务器不能ping通该windows主机（即在192.168.0.77机器不能ping通192.168.2.66）则路由器1与路由器2下的设备，可以访问交换机下的设备（即192.168.0.x网段）。路由器1的网段是192.168.1.x，路由器2的网段是192.168.2.x。而交换机下的设备，不能访问路由器1和路由器2下的设备。
2023-05-26 15:21:19
838
原创 mysql数据表导出导入过程详解
1.内网导出sql文件速度快，推荐内网导出。但是一些无效的报警信息会进入到sql文件首行里，导致sql文件不能使用，需要剔除掉这种无效报警信息。注意fileName.sql要有路径名，例如：source /home/user/data/fileName.sql。这个问题的原因是因为数据sql文件内部有注释，去掉就可以了(也可以不用管)，不影响数据导入。2.当用nohup后台导出sql文件时，一些无效的报警信息可能会被写入sql文件的前几行。一、mysqldump导出sql文件。1.压缩文件下所有文件。
2023-05-25 19:51:59
5200
1
转载 安全关闭Logstash
在本例中，缓慢的过滤器执行可以防止管道完全关闭，由于Logstash是由–pipeline.unsafe_shutdown标志启动的，因此关闭会导致20个事件的丢失。Logstash有一个失速检测机制，可以分析关闭期间管道和插件的行为，这种机制定期生成关于内部队列中运行中的事件计数和繁忙工作线程列表的信息。为使Logstash在中断运行的情况下强制终止，当你启动Logstash时使用–pipeline.unsafe_shutdown。一个断开连接的输出插件，正在等待重新连接以刷新运行中的事件。
2023-05-24 18:30:04
742
原创 pandas dataframe 报错：ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool()
像上面那么写，直接报错了。应该是以为dataframe这个类型即使不放数据，它也不算空。代码类似为下文：判断dataframe是否为空，为空则执行if语句内的内容。发现jenkins任务跑python脚本报错了。所以pandas不让这么判断。
2023-05-19 18:35:39
1491
原创 Jenkins跑python脚本很长时间没反应
然后仔细看了看输出。突然反应过来，可能是Jenkins运行脚本的时候，python这个参数与后面跟的脚本路径被划分到了两行，使用容器相当于运行的是python这个命令，所以脚本自然没运行了，而且容器也不会结束，一直停留在这个界面。用Jenkins跑某个python脚本，结果发现跑了好几天，没啥反应，输出只有下面这个。一开始没认真看，以为是不是docker卡了。结果重试还是没啥反应。总结：以后一看到这个输出，就应该立刻反应到是命令被当两行执行了。稍微调整命令让其在一行即可。
2023-05-19 18:01:31
417
如何实时监控Linux
2023-05-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人