shichengcheng_scc的博客

对比比较两个文件（url list）差异脚本extract_prefix.py#!/usr/bin/pythonimport osimport sysmemory_list = []def load(path): if not os.path.exists(path): print "not found %s" % path exit(-1) with open(path, 'r') as f: for line in f:

rabbitmq收发消息基本功能示例yum install pythonuum install python-pip python -m pip install pika -upgradepip install --upgrade pip确保python环境和pip环境import pikacredentials = pika.PlainCredentials('root', 'Scc123456!')Parameter = pika.ConnectionParameters('10.0.

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。由于Red

https://www.linuxidc.com/Linux/2012-12/75751.htm默认hdfs路径：/user/操作过程中首次报错DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.put: in': No such file or directory:hdfs://ambariagent.ksc.com:8020/user.

主流的ES迁移有三套方案1、logstash数据同步2、ES dump3、ES snapshot迁移1、logstash数据同步1. 指定索引index全量迁移配置文档：当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。input {elasticsearch {hosts => [“120.92.155.44:9200”]index => “map”docinfo => true}}output {elasticsearch {

目前发现网上找到了大部分kibana操作都是旧版本，已不适用于新版本的kibana操作和使用（且发现部分数据处理过程中跟现有部分日志内容脱节）本文重点是传输日志+处理数据+kibana操作（对于ES+kibana搭建以及logstash原理不多做介绍）重点内容传输日志=logstash使用以及基本的操作规范，sincedb_path意义和常见问题。数据处理=logstash导入输出的过程中有2个要点必须明确1、filter grok正则，把数据导入过程中分不同的类，用于kibana数据分类处理

Python 发送消息python有成熟的kafka python clientgithub以及官文都有示例，这边做个简单&快速的总结：1. 首先需要更新pippip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simplepip install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simplePython代码示例https://help.ali

kafka单机安装-快速使用教程首先得明确kafka目前大部分都是多个broker的集群版本，且需要搭配zookeeper共同使用现阶段kafka官网有现成版可直接运行，不需要编译，非常简便。官网下载kafka版本http://kafka.apache.org/downloadslinux安装升级javayum install java -yyum update java -y解压并运行zookeepertar -zxvf kafka_2.12-2.6.0.tgzcd kafka_2

mirrormaker（kafka迁移操作）虽目前请按照以下步骤系统性了解kafka迁移的操作指南。mirrormaker定义kafka基本操作mirrormaker操作效果在kafka迁移操作之前，首先得搞清楚kafka-mirrormaker是什么