scc诚诚-CSDN博客

原创对比比较两个文件（url list）差异脚本

对比比较两个文件（url list）差异脚本extract_prefix.py#!/usr/bin/pythonimport osimport sysmemory_list = []def load(path): if not os.path.exists(path): print "not found %s" % path exit(-1) with open(path, 'r') as f: for line in f:

2020-12-18 11:10:28 301

原创 Rabbitmq收发消息示例

rabbitmq收发消息基本功能示例yum install pythonuum install python-pip python -m pip install pika -upgradepip install --upgrade pip确保python环境和pip环境import pikacredentials = pika.PlainCredentials('root', 'Scc123456!')Parameter = pika.ConnectionParameters('10.0.

2020-12-16 17:10:04 158

原创 Redis持久化——RDB与AOF区别

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。由于Red

2020-12-16 16:31:51 108

原创 HDFS基本操作+权限问题处理

https://www.linuxidc.com/Linux/2012-12/75751.htm默认hdfs路径：/user/操作过程中首次报错DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.put: in': No such file or directory:hdfs://ambariagent.ksc.com:8020/user.

2020-12-16 16:26:15 633

原创 Elasticsearch跨集群数据迁移方案+代码操作

主流的ES迁移有三套方案1、logstash数据同步2、ES dump3、ES snapshot迁移1、logstash数据同步1. 指定索引index全量迁移配置文档：当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。input {elasticsearch {hosts => [“120.92.155.44:9200”]index => “map”docinfo => true}}output {elasticsearch {

2020-12-16 16:06:58 678

原创使用logstash传输处理日志输出到ES，再通过Kibana做分析

目前发现网上找到了大部分kibana操作都是旧版本，已不适用于新版本的kibana操作和使用（且发现部分数据处理过程中跟现有部分日志内容脱节）本文重点是传输日志+处理数据+kibana操作（对于ES+kibana搭建以及logstash原理不多做介绍）重点内容传输日志=logstash使用以及基本的操作规范，sincedb_path意义和常见问题。数据处理=logstash导入输出的过程中有2个要点必须明确1、filter grok正则，把数据导入过程中分不同的类，用于kibana数据分类处理

2020-12-16 15:53:08 1092

原创 kafka python client收发消息示例

Python 发送消息python有成熟的kafka python clientgithub以及官文都有示例，这边做个简单&快速的总结：1. 首先需要更新pippip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simplepip install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simplePython代码示例https://help.ali

2020-12-16 15:18:54 357

原创 kafka单机安装教程

kafka单机安装-快速使用教程首先得明确kafka目前大部分都是多个broker的集群版本，且需要搭配zookeeper共同使用现阶段kafka官网有现成版可直接运行，不需要编译，非常简便。官网下载kafka版本http://kafka.apache.org/downloadslinux安装升级javayum install java -yyum update java -y解压并运行zookeepertar -zxvf kafka_2.12-2.6.0.tgzcd kafka_2

2020-12-15 17:50:46 1107

原创 Kafka跨集群迁移—MirrorMaker操作

mirrormaker（kafka迁移操作）虽目前请按照以下步骤系统性了解kafka迁移的操作指南。mirrormaker定义kafka基本操作mirrormaker操作效果在kafka迁移操作之前，首先得搞清楚kafka-mirrormaker是什么

2020-12-15 17:37:55 3088

shichengcheng_scc的博客