记录
文章平均质量分 72
记录工作学习遇到的问题
晓为
这个作者很懒,什么都没留下…
展开
-
记录 zookeeper集群配置参数 flume配置参数
1.zookeeperzookeeper作为大数据集群的最基础的服务组件,许多集群服务都需要zookeeper集群的稳定并且高效的运行。那么对于zookeeper集群的基本参数理解就是不可避免的了。可以用这些参数来进行集群的管理和调优。如果集群有问题,那么根据打印日志信息 再加上对于集群配置参数的理解 就会很方便的进行排查问题,检查集群的性能瓶颈# The number of milliseconds of each ticktickTime=5000# The number of ticks t原创 2021-04-28 10:45:34 · 268 阅读 · 0 评论 -
记录 zookeeper频繁得重复创建连接然后关闭影响节点稳定问题
背景hadoop集群上运行着flink数据同步任务。数据同步得技术架构是flume采集到kafka,再用flink程序进行消费得流程。近来发现数据不稳定。开始因为一些不同机构之间有些网络升级等问题导致。后来出现问题:数据同步错误;并且kafka单台服务挂掉,zookeeper单台服务挂掉。排错过程记录1.kafka集群修改发现数据不稳定后,首先在yarn上发现flink流任务正在运行,未挂掉。再连接服务器查看java进程jps结果发现某一台机器没有kafka任务和zookeeper任务31原创 2021-04-22 15:16:53 · 2369 阅读 · 2 评论 -
记录一次flink消费kafka数据进行oracle数据同步问题
背景oracle数据同步项目。在同步过程中偶发插入或者更新数据后数据立即会进行删除。导致同步失败;基本技术架构oracle触发器进行数据的增删改查时将数据变更情况写入一张日志表flume采集日志表。使用sql插件kafka信息中间件flink进行流处理,使用侧输出流问题数据同步的逻辑是:1.在kafka中获取到数据后使用测输出流进行分发2.使用duutils进行数据连接管理 但是不是使用连接池来进行管理 只是使用queryrunneer进行数据库的增上改查 因为数据库连接池是由连原创 2021-04-15 16:24:06 · 928 阅读 · 0 评论 -
记录win10下python3.7安装pyhive遇到的问题以及安装impyla
在windows系统下安装pyhive查资料都是用pip进行安装pyhive的依赖,最后安装pyhive,在安装sasl过程中windows系统会报错,一头雾水;可以用canda进行安装,自动安装依赖conda install PyHive验证是否可用:from pyhive import hive...原创 2020-08-13 10:30:58 · 2917 阅读 · 0 评论 -
windows10下PowerShell远程ssh连接服务器&&界面美化
远程连接1.找到PowerShellwin10环境下自动集成了PowerShell终端,只需搜索即可进入界面需要以管理员身份运行2.设置powershell因为在win10 中powershell的执行策略是受限制的,所以更改策略Set-ExecutionPolicy AllSigned3.安装安装Chocolatey工具管理包,能够方便的为我们下载安装软件。在执行语句后输入“y”Set-ExecutionPolicy Bypass -Scope Process -原创 2020-08-07 11:44:28 · 4818 阅读 · 0 评论