SHOWufei

一、Flume 日志收集系统1、一图了解 HIGO 新日志收集系统2、Flume 日志汇聚（Flume NG 之 HIGO 实际应用方案）Agent Hostname IP User Path Log Topic Agent00 yz-sre-wannx00.lehe.com 10.20.201.242 flume /home/flume/flumeng/ /usr/local/openresty/ng...

1、当前业务数据收集详情当前的业务数据收集是使用的 sqoop + python 的管理脚本实现的 部署在 sqoop@yz-bi-web01.lehe.com:/home/sqoop/sqoop上 脚本是通过 crontab 定期启动的 核心脚本 /home/sqoop/sqoop/bin/sqoop_import.py 将任务分为了天级和小时级两种，通过 crontab 定期调用 /home/sqoop/sqoop/bin/sqoop_import_hour.sh和/home/sqoop/s.

目录一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源（NGINX）机器 Scribe cient3、日志汇聚（SCRIBE）机器 Scribe service4、Python 日志处理 METL 系统二、METL❓1、系统支持2、部署安装3、在 HIGO 的使用4、异常情况处理一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源（NGINX）机器 Scribe cient服务器 服务 ...

写在最前：实现一个简单的发号器。即根据 SnowFlake 算法的原理实现一个简单的发号器，产生不重复、自增的 ID。1、什么是 SnowFlake 算法❓2、Python3 实现#!/usr/bin/env python3# -*- coding: UTF-8 -*-'''==================================================...

写在最前：需要用到 PIL 模块：PIL：Python Imaging Library，已经是 Python 平台事实上的图像处理标准库了。PIL 功能非常强大，但 API 却非常简单易用。由于 PIL 仅支持到 Python 2.7，加上年久失修，于是一群志愿者在 PIL 的基础上创建了兼容的版本，名字叫Pillow，支持最新 Python 3.x，又加入了许多新特性，因此，我们可...

写在最前：MongoDB 是目前最流行的 NoSQL 数据库之一，使用的数据类型 BSON（类似 JSON）。Python 要连接 MongoDB 需要 MongoDB 驱动，这里我们使用 PyMongo 驱动来连接。一、安装1、pip 安装小知识：pip 是一个通用的 Python 包管理工具，提供了对 Python 包的查找、下载、安装、卸载的功能。安装 pymongo...

目录一、简单介绍二、安装 Redis 模块三、Redis 模块基本操作1、Redis 模块使用分类2、Redis 使用参考文档3、Python 操作 Redis 模式4、数据操作4.1redisconn.py4.2redis_key_analysis.py4.3以下是一些测试结果一、简单介绍 Redis 是一个 key-value...

目录一、容灾问题1、GoBeansproxy 之sharding 问题❓2、集群节点变更问题（新增或移除）❓3、集群内固定副本（N）的平衡问题❓二、容灾方案1、Python3 采集 GoBeansproxy 日志路由数据（SET/DELETE）存储到 MySQL2、Python3 实现 GoBeansDB 集群移除节点后的数据副本平衡3、以上实例输出结果一、容...

目录1、Python3 实现 BeansDB 与 GoBeansDB 间双向数据迁移2、以上实例输出部分结果3、Python3 BeansDB / GoBeansDB 连接 - libmc 驱动模块4、Python3 MySQL 数据库连接 - PyMySQL 驱动模块5、GoBeansproxy（proxy-access.log）日志部分输出内容6、GoBeansDB（g...

目录写在最前：1、python3_libmc_beansdb.py2、Python Example3、Example Results写在最前：1>、libmc由 Douban 开发和维护（豆瓣牛B）协议： memcached。推荐 libmc 客户端（c++ 实现，目前支持 go 和 python，基于 poll 的并发 get_multi/set_multi）...

1、豆瓣官方推荐协议协议： memcached。推荐 libmc 客户端（c++ 实现，目前支持 go 和 python，基于 poll 的并发 get_multi/set_multi）安装：pip install libmc，（豆瓣 GitHub 链接：https://github.com/douban/libmc）话外音：libmc 由 Douban 开发和维护。Python ...

import socketimport structip = '127.0.0.1'"""Python3.4 官方文档说明：socket.inet_aton(ip_string)Convert an IPv4 address from dotted-quad string format (for example, ‘123.45.67.89’) to 32-bit packed b...

在pycharm使用过程中，对于每次新建文件的编码格式和关于代码编写者的一些个人信息快捷填写，方法如下：避免每次新建项目文件时添加注释文件名、作者、创建日期等信息，则可以设置较好的代码模板，在创建文件时自动生成相关信息。1.打开 PyCharm，选择 PyCharm → Preferences（command + ,），再选择Editor →File and Code Templates...

目录写在最前：一、Python3采集GoBeansproxy日志SET路由数据存储到MySQL二、Python3 MySQL 数据库连接 - PyMySQL 驱动模块三、MySQL 建表语句四、GoBeansproxy测试日志（为方便测试改变了原 SET 的 key 值）写在最前：进一步保障 GoBeansDB 集群内副本数据NWR中的 N。一、Python3采集G...

目录练习 01：使用循环和列表推导器找出单词长度大于某个数字的单词 练习 02：寻找两个列表中的相同元素 练习 03：去除一个列表中相邻且重复的元素练习 04：用户名密码对应练习 05：使用列表推导式，打印出颜色与尺寸的（组合）练习 06：词频统计练习 07：实现行列互转练习 08：实现求指定长度的 Fibonacci 数列练习 09：[]对应检查...

目录习题 01：定义一个函数，接收任意 3 个数字，并按顺序从大到小输出习题 02：要求创建一个函数，它可以接收位置参数、不定长位置参数、不定长关键词参数，并按要求输出习题 03：使用 reduce 函数实现找出一组数字列表中的最大值习题 04：求 1000 以内能同时被 3 和 7 整除的数有哪些（要求使用 map 与 filter）习题 05：请以 round 函数，定义一...

目录写在最前：一、完成一个学生类（Student）的设计二、完成一个简单的 phone 类设计三、设计一个公司类，完成以下要求，并实例化不同对象进行验证四、设计类及其继承类小练习写在最前：初学时，不要说不会，不要说不理解，那说明你练习的还不够多、独立思考的还不够认真，给自己一个过程去面向对象然后让代码逐渐趋于完美。一、完成一个学生类（Student）的设计#!...

一、Python 切片的一些用法alist = [3,4,5,6,7,9,11,13,15,17]print(alist[::]) # 返回包含原列表中所有元素的新列表print(alist[::-1]) # 返回原列表的逆序排列print(alist[::2]) # 返回原列表的偶数位数据print(alist[1::2]) # 获取奇数位置的数据print(alist[3:6]...

目录一、简单小介二、Linux 安装Anaconda1、从官网下载 Linux 版本的Anaconda 并上传到服务器2、授权可执行权限3、在Linux里面.sh文件是可执行的脚本文件，需要用命令 bash 来进行安装4、使环境变量生效5、测试三、Mac 下安装 Anaconda，以及在 PyCharm 中的配置1、从官网下载 macOS 版本的Ana...