笔记
文章平均质量分 83
刘乘九
苟有恒,何必三更眠五更起
最无益,莫过一日曝十日寒
展开
-
记一次减少Pandas DataFrame在科学计算中的内存占用
通过指定列类型为category减少Pandas DataFrame内存占用的方法。实测节约83%的内存占用原创 2023-06-15 00:14:38 · 545 阅读 · 0 评论 -
flink学习文档三 exactly-once精准一次实现原理
目的flink相比其他计算引擎而言有一个重要优点就是可以支持精准一次的,相比于其他计算引擎大多只支持最少一次而言是一个重要特性。这里对flinkexactly-once 的使用进行分析,并对其原理进行学习记录。学习框架图exactly-once是什么exactly-once语义指的是每条数据对最终结果的影响只有一次,无论期间硬件或者软件程序出现任何异常使得任务中断,将异常处理恢复flink任务后也不存在重复处理的数据或未处理数据。exactly-once前提..原创 2021-10-15 00:08:04 · 817 阅读 · 0 评论 -
flink学习文档一(安装、开发、运维 简版一站式上手流程)
目的最近使用flink比较频繁,想系统化梳理一遍flink的相关知识,把整体的知识结构都梳理一下。恰好遇到一个flink工程的交接,接手的人对相关的知识不是太感兴趣,需要一份再一步一步如何操作应对平常的需求即可。这边刚好把这份傻瓜文档分享一下,以帮助有需要的人。后续会一步一步将整体的知识结构整理到这个系列里的。flink的安装可以参考我的另一篇安装博文《flink 1.11.2 的安装记录》,目前暂时都记录的是使用flink streaming模式下的任务开发,工程结构可以从flink的git官方上获取原创 2021-05-21 17:05:48 · 556 阅读 · 2 评论 -
clickhouse 超详细常用命令(零基础也能直接上手的指令说明)
主题在clickhouse中有一些常用的基础命令,这里进行记录总结一下。clickhouse的安装可以参照我的另一篇clickhouse安装记录clickhouse概念框架常用命令1.服务启动/停止注:需要按照教程正确安装了服务后启动: service clickhouse-server start停止:service clickhouse-server stop重启:service clickhouse-server restart2.登录...原创 2021-05-20 15:36:50 · 12052 阅读 · 0 评论 -
WIN10环境英伟达9系显卡tensorflow安装记录及调试过程 CUDA8.0+tensorflow-gpu1.4+CuDNN6.0
用sklearn学习完了机器学习之后,本来打算入坑深度学习。查阅了网上相关资料之后决定学习tensorflow进行入门,哪知安装就花费了一周的时间。深感老显卡安装不易,在此记录一下安装过程希望可以帮助其他人少被坑。 本机机器配置:六代i5处理器、GTX965M显卡 、8G*2 DDRL3内存条、240G固态。一、检查适合自己硬件的CUDA和tensorflow组件 首先确...原创 2020-09-23 01:10:21 · 334 阅读 · 0 评论 -
kafka 服务器常用命令记录
现状描述目前公司BI业务总是和kafka打交道的比较多,后续也可能以kafka作为中间件来优化当前的微服务体系。自己上手对kafka的操作和维护比较多。分享一些使用频次比较高的kafka指令。下面直接干货吧常用命令(均进入kafka/bin目录下执行,如果设置了kafka作为服务器环境变量的话,直接用就好。 另外示范例子中的 XXXX是自己服务器的zookeeper 端口,AAAA是需要查看的topic名称)1.查看所有topic./kafka-topics.sh --zo...原创 2020-09-16 01:43:31 · 416 阅读 · 0 评论 -
flume 单个agent中配置多个source,channel,sink失效的问题
问题描述:为了节约服务器上使用flume占用的资源,希望减少flume产生的JVM进程。故将几个数据采集的需求都写在一个agent的配置文件中了。其中每一个单独执行的时候都没有任何问题。但是把agent的名字统一直接堆砌到一起之后发现收集数据的系统中仅仅有一个数据到位了。问题原因:1.agent 申明source、sink、channel变量的时候一定要一句全部申明,并用空格隔开。例如错误示范:# Sources, channels, and sinks are defined pe.原创 2020-09-16 01:11:44 · 1449 阅读 · 0 评论