- 博客(42)
- 收藏
- 关注
RSS订阅原创 微信公众号SDK配置教程
填写域名的时候，需要下载3中的文件，放到服务器能访问的地方，也就是放到要部署在服务器的程序当中。https://github.com/Wechat-Group/WxJava/wiki/公众号开发文档。登录微信公众号 --》（左边菜单）设置与开发 --》公众号设置--》功能设置。登录微信公众号 --》（左边菜单）设置与开发 --》基本配置。开通后提示AppSecret及时保存，公众号平台不再保存展示。登录微信公众号 --》（左边菜单）设置与开发 --》基本配置。
2023-09-06 23:48:15
794
原创 神策SDK接入说明
接口地址http://172.19.230.102/upload?project="应用编码"SensorsConfig.javaurl：数据上报地址onFailed：接口异常回调接口SuperPropertiesRecord：公共属性，可以省略参考元数据管理原型必传字段：DistinctId ：已登录用户传系统用户id；未登录用户上传匿名id； 匿名由移动端或者web通过请求头传入，请求头名称自定义，例如"Original-Id"、"cookieId"都行isLoginId：B
2023-09-06 15:47:11
2071
原创 k8s flink搭建
设置hadoop配置#minio的秘钥，也可以使用iam身份令牌，官方更推荐令牌# 这些架包需要提前下载，下载方式可以百度#s3a建议flink-s3-fs-hadoop，s3p建议flink-s3-fs-presto 区别百度<property><property><value></value><property><property><property><property><property><property>
2023-09-06 11:17:19
644
原创 k8s kafka集群搭建
但如果你是用云服务，有一点需要注意：以上对外暴露的方法，只能使用云服务器的内网ip进行访问，无法使用公网ip访问，因为对于云服务器本身来说，它是感知不到公网ip的，而且安装k8s时用的也是内网ip进行安装。比较牛逼的是，如果你以后想增加主题的分区数，只需要修改topic.yaml中的。，这个主题就被删掉了，因此如果你使用这种方式来管理topic，一定要小心。这个文件的命名，官方给的example就是这个名，你可以更改为任意名字。然后会多一个bridge的pod，为了方便测试，我们直接使用。
2023-09-06 11:13:41
680
原创 k8s kafka集群搭建
但如果你是用云服务，有一点需要注意：以上对外暴露的方法，只能使用云服务器的内网ip进行访问，无法使用公网ip访问，因为对于云服务器本身来说，它是感知不到公网ip的，而且安装k8s时用的也是内网ip进行安装。比较牛逼的是，如果你以后想增加主题的分区数，只需要修改topic.yaml中的。，这个主题就被删掉了，因此如果你使用这种方式来管理topic，一定要小心。这个文件的命名，官方给的example就是这个名，你可以更改为任意名字。然后会多一个bridge的pod，为了方便测试，我们直接使用。
2023-09-06 11:03:40
433
原创 k8s搭建dataease集群
目前存在一些限制因素：每个 Kubernetes 节点只能启动一个BE，且每个 Kubernetes 节点需要为 Doris 预留监听端口，默认：doris-fe(8030、9010、9020、9030)、doris-be(8040、8060、9050、9060、9070)；Doris 在 Kubernetes 中的部署架构为 “1fe + 1be”，在此我们仍然建议您使用服务化方式部署 Doris 集群，这样可以更大程度的发挥 Doris 的性能。
2023-09-05 13:29:46
207
原创 K8S安装openresty
之前绍过原生安装openresty 详见文档，本文主要介绍基于k8s的安装。docker官方推荐镜像：https://hub.docker.com/r/bitnami/openresty。
2023-09-05 12:47:20
377
原创 Centos nginx 安装配置
pcre是一个perl库，包括perl兼容的正则表达式库，nginx的http模块使用pcre来解析正则表达式，所以需要安装pcre库。zlib库提供了很多种压缩和解压缩方式nginx使用zlib对http包的内容进行gzip，所以需要安装。切换到cd /usr/local/java/nginx-1.9.9/下面。配置nginx的配置文件nginx.conf文件，主要也就是端口。切换到/usr/local/nginx安装目录。openssl是nginx安全通信的基石。访问ip，查看nginx服务。
2023-09-05 10:21:49
121
原创 k8s搭建
先参考https://kuboard.cn/install/v3/install.html。用户名 admin，默认密码 Kuboard123。默认密 码: Kuboard123。默认用户名: admin。
2023-09-04 15:38:18
290
原创 基于OpenResty构建采集服务器
OpenResty(又称：ngx_openresty) 是一个基于 NGINX 的可伸缩的 Web 平台，由中国人章亦春发起，提供了很多高质量的第三方模块。OpenResty 是一个强大的 Web 应用服务器，Web 开发人员可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块,更主要的是在性能方面，OpenResty可以 快速构造出足以胜任 10K 以上并发连接响应的超高性能 Web 应用系统。
2023-09-04 15:34:11
125
原创 Lua使用教程
原文链接：https://blog.csdn.net/weixin_43931625/article/details/125719532。
2023-09-04 15:05:46
209
原创 数据采集-2个版本（过时）
上报成功日志路径：/var/log/nginx/upload.access.log。采集上报地址: http://172.19.230.100 /upload。上报主机：172.19.230.102、172.19.230.104。
2023-09-04 14:34:32
1162
原创 Mysql主从安装
显示ip解析错误，猜测解析估计是DNS的问题，本地网络使用应该是需要禁用就可以。通过查看主节点日志cat /var/log/mysqld.log。[mysqld]下面增加skip-name-resolve。进入/etc 找到mysql的配置文件my.cnf。验证一下：创建test库，从库果然可以同步，搞定！重启从节点，果然成功！
2023-09-04 14:11:06
80
原创 clickhose集群搭建
参考链接：https://blog.csdn.net/qq_32212587/article/details/124457415。需要环境：centos7.9+zookeeper+JDK8+clickhouse 22.2.2.1-2。以上，完成clickhouse 3shard1replica集群部署。使用的是默认存储位置，查看稍微麻烦，如有必须可以更改。机器：hdp01 hdp02 hdp03。9000端口已经被占用，改用5566端口。
2023-09-04 13:33:51
116
原创 Centos Nginx集群安装配置
需要两台服务器127.19.230.102 和127.19.230.104在两台服务器安装nginx.在两合服务器安装keepalived.
2023-09-04 13:09:09
71
原创 Ambari2.7.X集成flume1.9
一定要把flume.repo复制到需要安装的子节点上，比如：要在hadoop01、hadoop02节点安装flume，则需要把flume.repo复制到以上两个节点。参考链接：https://blog.csdn.net/NDF923/article/details/123692025。注：该项目是py，先执行sh buildrpm.sh脚本，在添加相关的包。可以在这里填写配置，也可以不填，等安装完成再填写。到此，rpm包编译完成。
2023-09-04 13:02:23
131
原创 Ambari 2.7.X集成安装Dolphin1.3.9
解决：查看worker日志是否有错误，这个问题通常是由于端口冲突导致，例如dolphinscheduler启动了nginx，其中监听了相关端口，关闭服务后nginx仍在运行，下次启动worker后会出现端口冲突的异常。CentOS-7.8、nodejs-v16.13.0、npm-8.1.0(nodejs自带)、git-1.8.3.1、java-1.8、1、工作流执行后一直为启动状态，无日志输出。hdp01、hdp02、hdp03：执行。2、创建数据库用户（mysql）2）进入源码目录进行编译。
2023-09-04 12:56:39
197
原创 Ambari 2.7.X安装Flink1.14.X
（随便一台服务器，这里选hdp01）（之前已经装过，可以省略）安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps目录）
2023-09-04 12:49:09
232
原创 大数据平台HDP3.1.4(Ambari2.7.4)安装
300g/var 150g/swap 4g/home 150g修改本机名，3台节点均为centos7系统，分别为hdp01,hdp02,hdp03。
2023-09-04 12:39:20
920
原创 Java poi 4.0+ （三） 事件驱动模式解析excel 包含03和07版的excel
前面我们介绍了用户模式如何解析excel，但是用户模式局限很大，其并不能解析大数据量的excel。我做过测试，在16G内存上的机子，07版excel导入6W条数据，内存一下彪了2个G，由于之前忘截图了，所以此处没有图，下面，我将介绍在大批量数据时候，如何解析excel。当然是用 事件驱动模式（其实就是一种流式读取的名字）了！网上有很多相似的代码，我也参考了很多，但是我发现不论哪个都有很大的...
2019-01-31 14:52:29
2952
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人