![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
Life is short, you need Python.
if 0 = -I can
那年我们还有梦
关于文学
关于爱情
关于穿越世界的旅行
如今我们深夜痛饮
杯子碰到一起
都是梦破碎的声音
展开
-
基于 Flume 的 Python 日志处理 METL 系统
一、Flume 日志收集系统1、一图了解 HIGO 新日志收集系统2、Flume 日志汇聚(Flume NG 之 HIGO 实际应用方案)Agent Hostname IP User Path Log Topic Agent00 yz-sre-wannx00.lehe.com 10.20.201.242 flume /home/flume/flumeng/ /usr/local/openresty/ng...原创 2020-06-03 18:30:45 · 562 阅读 · 0 评论 -
SQOOP 从 MySQL 导入到 Hive 之 Python 脚本
1、当前业务数据收集详情当前的业务数据收集是使用的 sqoop + python 的管理脚本实现的 部署在 sqoop@yz-bi-web01.lehe.com:/home/sqoop/sqoop上 脚本是通过 crontab 定期启动的 核心脚本 /home/sqoop/sqoop/bin/sqoop_import.py 将任务分为了天级和小时级两种,通过 crontab 定期调用 /home/sqoop/sqoop/bin/sqoop_import_hour.sh和/home/sqoop/s.原创 2020-05-20 11:16:16 · 448 阅读 · 0 评论 -
基于 Scribe 的 Python 日志处理 METL 系统
目录一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源(NGINX)机器 Scribe cient3、日志汇聚(SCRIBE)机器 Scribe service4、Python 日志处理 METL 系统二、METL❓1、系统支持2、部署安装3、在 HIGO 的使用4、异常情况处理一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源(NGINX)机器 Scribe cient服务器 服务 ...原创 2020-05-19 10:51:22 · 346 阅读 · 0 评论 -
Python3小知识第三话:实现一个简单的发号器
写在最前:实现一个简单的发号器。即根据 SnowFlake 算法的原理实现一个简单的发号器,产生不重复、自增的 ID。1、什么是 SnowFlake 算法❓2、Python3 实现#!/usr/bin/env python3# -*- coding: UTF-8 -*-'''==================================================...原创 2020-01-19 16:16:20 · 476 阅读 · 0 评论 -
Python3小知识第二话:读取图片信息
写在最前:需要用到 PIL 模块:PIL:Python Imaging Library,已经是 Python 平台事实上的图像处理标准库了。PIL 功能非常强大,但 API 却非常简单易用。由于 PIL 仅支持到 Python 2.7,加上年久失修,于是一群志愿者在 PIL 的基础上创建了兼容的版本,名字叫Pillow,支持最新 Python 3.x,又加入了许多新特性,因此,我们可...原创 2020-01-08 17:02:03 · 726 阅读 · 0 评论 -
Python3 MongoDB
写在最前:MongoDB 是目前最流行的 NoSQL 数据库之一,使用的数据类型 BSON(类似 JSON)。Python 要连接 MongoDB 需要 MongoDB 驱动,这里我们使用 PyMongo 驱动来连接。一、安装1、pip 安装小知识:pip 是一个通用的 Python 包管理工具,提供了对 Python 包的查找、下载、安装、卸载的功能。安装 pymongo...原创 2019-11-11 12:46:25 · 240 阅读 · 0 评论 -
Python3 操作 Redis(Cluster)及实践(key 前缀)词频统计
目录一、简单介绍二、安装 Redis 模块三、Redis 模块基本操作1、Redis 模块使用分类2、Redis 使用参考文档3、Python 操作 Redis 模式4、数据操作4.1redisconn.py4.2redis_key_analysis.py4.3以下是一些测试结果一、简单介绍 Redis 是一个 key-value...原创 2019-11-07 17:21:24 · 2100 阅读 · 0 评论 -
Python3 实现 GoBeansDB 集群节点变更以及固定副本平衡
目录一、容灾问题1、GoBeansproxy 之sharding 问题❓2、集群节点变更问题(新增或移除)❓3、集群内固定副本(N)的平衡问题❓二、容灾方案1、Python3 采集 GoBeansproxy 日志路由数据(SET/DELETE)存储到 MySQL2、Python3 实现 GoBeansDB 集群移除节点后的数据副本平衡3、以上实例输出结果一、容...原创 2019-11-01 20:33:07 · 303 阅读 · 0 评论 -
Python3 实现 BeansDB 与 GoBeansDB 间双向数据迁移
目录1、Python3 实现 BeansDB 与 GoBeansDB 间双向数据迁移2、以上实例输出部分结果3、Python3 BeansDB / GoBeansDB 连接 - libmc 驱动模块4、Python3 MySQL 数据库连接 - PyMySQL 驱动模块5、GoBeansproxy(proxy-access.log)日志部分输出内容6、GoBeansDB(g...原创 2019-10-30 21:30:26 · 463 阅读 · 0 评论 -
Python3 BeansDB / GoBeansDB 连接 - libmc 驱动模块
目录写在最前:1、python3_libmc_beansdb.py2、Python Example3、Example Results写在最前:1>、libmc由 Douban 开发和维护(豆瓣牛B)协议: memcached。推荐 libmc 客户端(c++ 实现,目前支持 go 和 python,基于 poll 的并发 get_multi/set_multi)...原创 2019-10-29 10:11:18 · 298 阅读 · 0 评论 -
小谈 GoBeansDB 高性能 Python 客户端
1、豆瓣官方推荐协议协议: memcached。推荐 libmc 客户端(c++ 实现,目前支持 go 和 python,基于 poll 的并发 get_multi/set_multi)安装:pip install libmc,(豆瓣 GitHub 链接:https://github.com/douban/libmc)话外音:libmc 由 Douban 开发和维护。Python ...原创 2019-10-25 21:00:06 · 566 阅读 · 0 评论 -
Python3小知识第一话:将IP转换为int
import socketimport structip = '127.0.0.1'"""Python3.4 官方文档说明:socket.inet_aton(ip_string)Convert an IPv4 address from dotted-quad string format (for example, ‘123.45.67.89’) to 32-bit packed b...原创 2019-10-24 21:43:51 · 802 阅读 · 0 评论 -
Python 基础第六话:【Mac】PyCharm 设置代码模板:自动生成文件名、作者、创建日期等信息
在pycharm使用过程中,对于每次新建文件的编码格式和关于代码编写者的一些个人信息快捷填写,方法如下:避免每次新建项目文件时添加注释文件名、作者、创建日期等信息,则可以设置较好的代码模板,在创建文件时自动生成相关信息。1.打开 PyCharm,选择 PyCharm → Preferences(command + ,),再选择Editor →File and Code Templates...原创 2019-10-24 12:43:12 · 956 阅读 · 0 评论 -
Python3 采集 GoBeansproxy 日志路由数据(SET/DELETE)存储到 MySQL
目录写在最前:一、Python3采集GoBeansproxy日志SET路由数据存储到MySQL二、Python3 MySQL 数据库连接 - PyMySQL 驱动模块三、MySQL 建表语句四、GoBeansproxy测试日志(为方便测试改变了原 SET 的 key 值)写在最前:进一步保障 GoBeansDB 集群内副本数据NWR中的 N。一、Python3采集G...原创 2019-10-24 11:54:02 · 357 阅读 · 0 评论 -
Python 基础第二话:关键字、容器小练习
目录练习 01:使用循环和列表推导器找出单词长度大于某个数字的单词 练习 02:寻找两个列表中的相同元素 练习 03:去除一个列表中相邻且重复的元素练习 04:用户名密码对应练习 05:使用列表推导式,打印出颜色与尺寸的(组合)练习 06:词频统计练习 07:实现行列互转练习 08:实现求指定长度的 Fibonacci 数列练习 09:[]对应检查...原创 2019-10-21 21:36:27 · 648 阅读 · 0 评论 -
Python 基础第三话:函数小练习
目录习题 01:定义一个函数,接收任意 3 个数字,并按顺序从大到小输出习题 02:要求创建一个函数,它可以接收位置参数、不定长位置参数、不定长关键词参数,并按要求输出习题 03:使用 reduce 函数实现找出一组数字列表中的最大值习题 04:求 1000 以内能同时被 3 和 7 整除的数有哪些(要求使用 map 与 filter)习题 05:请以 round 函数,定义一...原创 2019-10-21 21:25:58 · 778 阅读 · 0 评论 -
Python 基础第四话:面向对象小练习
目录写在最前:一、完成一个学生类(Student)的设计二、完成一个简单的 phone 类设计三、设计一个公司类,完成以下要求,并实例化不同对象进行验证四、设计类及其继承类小练习写在最前:初学时,不要说不会,不要说不理解,那说明你练习的还不够多、独立思考的还不够认真,给自己一个过程去面向对象然后让代码逐渐趋于完美。一、完成一个学生类(Student)的设计#!...原创 2019-10-21 21:04:41 · 680 阅读 · 0 评论 -
Python 基础第五话:python3 实现自定义切片类为左闭右闭
一、Python 切片的一些用法alist = [3,4,5,6,7,9,11,13,15,17]print(alist[::]) # 返回包含原列表中所有元素的新列表print(alist[::-1]) # 返回原列表的逆序排列print(alist[::2]) # 返回原列表的偶数位数据print(alist[1::2]) # 获取奇数位置的数据print(alist[3:6]...原创 2019-10-21 20:37:34 · 2724 阅读 · 0 评论 -
Python 基础第一话:安装 Anaconda 及简单使用
目录一、简单小介二、Linux 安装Anaconda1、从官网下载 Linux 版本的Anaconda 并上传到服务器2、授权可执行权限3、在Linux里面.sh文件是可执行的脚本文件,需要用命令 bash 来进行安装4、使环境变量生效5、测试三、Mac 下安装 Anaconda,以及在 PyCharm 中的配置1、从官网下载 macOS 版本的Ana...原创 2019-10-18 17:40:04 · 1592 阅读 · 0 评论