keepandkeep的博客

原创 pandas.read_csv()编码解析0xb1失败

原由：xlsx文件重命名为csv文件后，使用pd.read_csv()读取报错解码错误： ‘utf-8’ codec can’t decode byte 0xb1 in position 0: invalid start byte。解决：pd.read_csv(‘C:/Users/admin/Desktop/opendata.csv’, encoding=‘gb2312’)

原创 MD5码在线解密

https://www.somd5.com/

原创 git初始化项目上传

此处master表示推送代码到master分支（没有会自动创建该分支），推送完后可在步骤6时申请合并master分支到mian分支。如果是java项目可以在这个项目根目录下加个 .gitignore 文件（注意.号），这样会忽略一些没必要上传的文件。您可以在托管服务的页面上查看您的项目，查看提交历史、文件变化等信息。请将“远程仓库的URL”替换为您在步骤1中获得的实际URL。我们可以执行以下命令查看我们关联的远程仓库的url。平台上建好项目，并copy远程仓库的URL。

原创 fastapi限定特定ip访问

https://geek-docs.com/fastapi/fastapi-questions/300_fastapi_fastapi_how_to_allow_endpoint_access_for_specific_ip_only.html#:~:text=%E4%BD%BF%E7%94%A8%E8%A3%85%E9%A5%B0%E5%99%A8%E9%99%90%E5%88%B6IP%E8%AE%BF%E9%97%AE,FastAPI%E6%8F%90%E4%BE%9B%E4%BA%86%E4%B8%

原创 HAProxy负载均衡 代理

stats hide-version #隐藏haproxy版本号 stats uri /haproxyadmin?stats #一会用于打开状态页的uri。#转发到101的9030端口，并监听9030端口，监听间隔为5秒钟，如果连续两次检测不到活跃，则从ha群组中剔除，如果连续两次成功，则恢复到群组中来。listen stats #配置haproxy状态页（用来查看的页面）

原创 FileNotFoundError: [WinError 2] 系统找不到指定的文件。

现象：在conda命令行窗口conda activate环境后，cd到py文件所在目录，执行python .py可以正常运行，而且到pyspark所在包bin下执行pyspark.cmd 正常。可在pycharm中执行却报如上错，那只能说明两个环境不一致，尝试了上述解决方案后成功。解决方案：将anaconda的安装路径放系统环境变量PATH中。环境：python3.6+pyspark==2.4.5。使用的是anaconda创建出的环境。系统找不到指定的文件。

原创 python基础环境建设(pip、anaconda)

anaconda可以随意创建使用多版本的python，十分方便。命令主要分为下面两块。，注意操作系统（win or centos）和系统位数（amd64），执行。报错关键字：setuptools。

原创 python代码读写数据库

python极便读写数据库

原创 centos7.9 shell命令随记

du -h -x --max-depth=1

原创 mysqldump 5.7-＞8.0

set-gtid-purged=off 这个参数防止报gtid错误，因为mysql5.6之后增加了gtid这个特性 这个是关掉这个特性的意思–column-statistics=0 　因为新版的mysqldump默认启用了一个新标志，通过- -column-statistics=0来禁用他-R 备份存储过程和函数 （不加此参数只会备份databases 的基础表和视图）

原创 文档网址记录

S3 python SDK ：https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-uploading-files.htmlminio python SDK:https://www.bookstack.cn/read/MinioCookbookZH/23.md

原创 dolphinscheduler3.1.4提交spark任务--master参数源码解析

今天把在dolphinscheduler提spark任务配置通了，但是在实例任务的日志中，我发现spark任务的提交命令。二、可以先扫一眼SparkConstants.java，里面是定义的一些配置常量，混个眼熟，方便后面分析。四、定位调用populateSparkOptions函数的地方，看args参数怎么融入。参数总是yarm，而且任务配置页面也无该阐述的配置，遂，去分析源码去了。后面其他的配置阐述就不详细说了，本文关注 --master 参数。="local"时，args列表里的值为。

原创 neo4j删除大规模数据

用Seatunnel往neo4j导了大概6千万条数据，（Seatunnel本地模式六七百条每秒，太慢了，不用jdbc了，准备用starrocks连接器在试试看），直接delete删数据时，neo4j直接卡死了，然后用下面语句每次删1万条，免所有结点都加载到内存中。强制杀掉再重启，OK了起来了。也stop失败，果断。

原创 Seatunnel 2.3.0 本地模式 Hazelcast instance is not active!

Seatunnel 2.3.0本地模式的demo跑不通，烦死了，记录下。按官网的运行本地模式的demo，报错。好像是它自己的包冲突了，

原创 Linux查看某一端口是否开放

lsof -i:6379 //如果有显示说明已经开放了，如果没有显示说明没有开放。

原创 离线安装mysql8

即/etc/my.cnf中的socket=/var/lib/mysql/mysql.sock，看下有无/var/lib/mysql文件夹，并赋权，输出中有mysql的初始密码，记下。这次离线安装到这就成功了。那就创建文件夹并赋权。

原创 zookeeper、kafka集群搭建相关配置

①conf文件夹下的zoo.cfg：②在dataDir路径下创建myid文件，并填写id，（id>=1）

原创 wget网络下载403

wget下载出现 error 403。需要加两个参数 -U和-O。

原创 Shell 脚本参数传递时有 \r 换行符问题

]替换成具体列名后，好家伙，执行时首先把job的配置文件内容打印出来，一看，dbname和tablename后都有\r。Windows体系里面，每行结尾是"”，即"\n\r”。所以当从Windows上把脚本放入Linux上后，会把"\n\r”一起带入。Unix体系里，每行结尾只有"”，即"\n"；allSyncTask.sh：脚本名称，自定义。“] write端字段数为0,把[”来由：datax 使用 [“

原创 kafka可视化平台EFAK搭建

- ERROR - Collector consumer topic data has error, msg is java.lang.NullPointerException

原创 kafka指定jdk的位置

kafka设置jdk的位置

原创 StartRocks的fe节点加入

StarRocks集群搭建，fe节点加入

原创 使用安装的JDK替代系统默认的OpenJDK

安装jdk

转载 流式数仓----未来的一个方向

目标是实现一个具备端到端实时性的纯流服务（Streaming Service），用一套 API 分析所有流动中的数据，当源头数据发生变化，比如捕捉到在线服务的 Log 或数据库的 Binlog 以后，就按照提前定义好的 Query 逻辑或数据处理逻辑，对数据进行分析，分析后的数据落到数仓的某一个分层，再从第一个分层向下一个分层流动，然后数仓所有分层会全部流动起来，最终流到一个在线系统里，用户可以看到整个数仓的全实时流动效果。在这个过程中，数据是主动的，而查询是被动的，分析由数据的变化来驱动。

原创 算法笔记 github

最强算法笔记啦

原创 Dinky整合SqlServer

Dinky整合SqlServer

原创 刚工作碎碎念

大数据开发碎碎念

原创 golang vscode 插件下载

https://www.cnblogs.com/xll970105/p/11906899.html?ivk_sa=1025922x

原创 Hadoop集群能打开50070端口网页不能打开8088端口网页

今天8088端口打不开如下页面：（可以打开50070端口）来来来，看看是不是和我情况一样；第一步，netstat -anp | grep 8088结果是没有ip开放8088端口，即命令无结果所以第二步，去yarn-site.xml 看看情况图片是已经改过来了的，改的地方已经圈出。所圈的位置需要写免密登录时留的ip映射名，我这里就是master。然后就是把文件分发给slave1、slave2scp -r yarn-site.xml slave2:/opt/hadoop/hadoop-2.

原创 阿里云高校考试续费ECS，查询资源信息错误

今天距离服务器到期还有几个小时，参加了阿里云的续费考试，成绩90分，应该是可以免费续费了，点击免费续费后，可是出现页面如下：不能点右下角的支付（没截上）。试了好久都不行，眼看就几个小时到期了。。。机智如我，现在都有点忘了，由于续费成功了，过程不能复现了（当时也就试了试，没准备就成功了）：由于是资源信息错误报错，我点了下右上角的按键（就在页面上，很显眼，就一个），是可以查看你在阿里云上的资源信息的，（我估计是这个页面加载资源信息时出错了），在资源信息中可以看到你的服务器的实例，然后我们点击它的续

原创 两日期相隔天数

#include <iostream>using namespace std;int num1[12] = { 31,29,31,30,31,30,31,31,30,31,30,31 };int num2[12] = { 31,28,31,30,31,30,31,31,30,31,30,31 };int isyear(int year) { //计算某年是否是闰年，返回不同天数...

原创 从字符串1中删除字符串2

原创 求cosx的近似值

找不出哪里错了。。。。今天累了，先休息了。。。#include “pch.h”#include<math.h>#include<stdio.h>#include void main() {double x,n=2.0;double a=0.,s=1.0;scanf_s("%f", &x);for (double i = 1.0;i<5; i+...

原创 N个数排列

N个数排列刚学完数组编的由于数组【】中只能是常数，这里就暂定a[100],(相信没人要输入超过100个数，有，那就a【1000】，，a[10000],哈哈哈），这也是下面这个程序不完美的地方。#include “pch.h”#include void main(){int n;float a[100], t;printf(“请问您要把几个数从大到小排列\n”);scanf_s(...