![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 53
MusicDancing
这个作者很懒,什么都没留下…
展开
-
python 读写kafka
11qwe原创 2024-01-15 20:07:15 · 618 阅读 · 0 评论 -
lark 发送图片消息
112233原创 2023-10-19 10:13:19 · 750 阅读 · 0 评论 -
python 画网络图
1111原创 2023-08-22 11:35:31 · 855 阅读 · 1 评论 -
好用的networkx绘图包
11原创 2023-08-16 11:47:35 · 274 阅读 · 0 评论 -
文件按关键字分组-切割-染色-写入excel
11原创 2023-07-28 14:37:44 · 757 阅读 · 0 评论 -
python 正则表达式
11原创 2023-03-17 20:31:17 · 454 阅读 · 0 评论 -
读取s3图片并保存至excel
11原创 2022-12-05 17:38:46 · 1017 阅读 · 0 评论 -
python3 安装
11原创 2022-08-31 22:01:29 · 864 阅读 · 1 评论 -
Python 时间相关Util
11原创 2022-07-15 15:15:58 · 194 阅读 · 0 评论 -
python 压测示例
11原创 2022-07-14 20:16:01 · 600 阅读 · 0 评论 -
好用的Airflow Platform
11原创 2022-06-13 20:16:43 · 414 阅读 · 0 评论 -
Python 垃圾回收机制
Python 的GC模块主要运用了引用计数来跟踪和回收垃圾;通过“标记-清除”解决容器对象可能产生的循环引用问题;通过分代回收以空间换时间进一步提高垃圾回收的效率。1. 引用计数原理 为每一个对象维护一个引用计数器,当一个对象的引用被创建或者复制时,(对象的引用)计数器+1,当一个对象的引用被销毁时,计数器的值-1,当计数器的值为0时,就意味着对象已经再没有被使用了,可以将其内存释放掉。...原创 2021-12-28 22:38:35 · 525 阅读 · 0 评论 -
Scrapy爬虫流程
11原创 2021-12-28 15:41:36 · 1614 阅读 · 0 评论 -
python 实现Hash函数
根据uid和日期生成统一id。# 12345678_20211112def hash(uid_date): seed = 131 hash = 0 for i in uid_date: hash = hash * seed + ord(i) hash = hash & 0x7FFFFFFF return (hash % 5000)原创 2021-12-02 23:39:04 · 1335 阅读 · 0 评论 -
python神奇的模块(os、zipfile、glob)
1. 获取文件列表或详细信息from zipfile import Zipfile# 获取zip文档内所有文件的信息,返回一个ZipInfo的列表。ZipFile.infolist()# 获取zip文档内指定文件的信息,返回一个包括文件详细信息的ZipInfo对象。ZipFile.getinfo(name)# 获取zip文档内所有文件的名称列表ZipFile.namelist()2. 解压指定文件# 将zip文档内的指定文件解压到当前目录ZipFile.extract(m原创 2021-11-26 10:28:07 · 631 阅读 · 0 评论 -
在Python程序中调用Java-----JPype
1. JPype是什么? JPype是一个能够让 python 代码方便地调用 Java 代码的工具,从而克服了 python 在某些领域(如服务器端编程)中的不足。其与Jython(JPython后继者)不同。1. 运行环境不同:jython运行在jvm上,而JPype的实际运行环境仍然是python runtime,只是在运行期间启动了一个嵌入的jvm;2. 使用者不同:jython是给java程序玩的,JPype是给python程序员玩的。JPype的安装1. 先安...原创 2021-09-26 14:20:32 · 466 阅读 · 0 评论 -
python argparse命令行参数解析
11# -*- coding: utf-8 -*-import argparse# (1) 声明一个parserap = argparse.ArgumentParser()# (2) 添加参数ap.add_argument("first") # 位置参数,这里表示第一个出现的参数赋值给firstap.add_argument("--digit", type=int, help="输入数字") # 声明一个int类型参数ap.add_argument("--name", help="名原创 2021-06-23 15:14:41 · 662 阅读 · 0 评论 -
python 读文件并处理成DataFrame
1. 从hive表中批量读取数据,处理成DataFrame。#!/usr/bin/python# -*- coding: UTF-8 -*-from pyhive import hiveimport pandas as pddef get_batch_data_from_hive(sql_str, batch_size=100): # sql_str = 'select * from zx_dm.lx_user_wt_gjc_contact_4_predict_data_d whe原创 2021-05-26 14:19:22 · 2355 阅读 · 0 评论 -
python 常见案例处理(目录遍历、网络爬虫、auc、分词)
1. 爬取百度热点网页#!/usr/bin/python# -*- coding: UTF-8 -*-import requestsimport lxmldef get_url(url, cookie, host, target1, target2, name): response = do_response(cookie, host, url) response.encoding = 'gb2312' html_text = lxml.etree.HTML(res原创 2021-05-17 19:48:29 · 449 阅读 · 0 评论 -
自定义使用subprocess执行SHELL命令的函数
封装一个使用subprocess的Popen执行SHELL命令的函数, 支持超时判断,支持读取stdout和stderr# coding=utf-8# @author:zzimport shleximport datetimeimport subprocessimport timeimport oscode_dct = { 0:'执行成功', 7:'找不到表', 41:'查询字段不存在', 64:'表示缺失关键字', 127:'语句为空串'}原创 2021-05-13 14:59:08 · 296 阅读 · 0 评论 -
python 发送邮件
1. 使用python 发送邮件时,需要进行kerberos认证,以及登录认证。# !/usr/bin/python# -*- coding: UTF-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerimport osfrom pyhive import hivemail_host = "webmail.qq.com" # 10.135.15.14usern原创 2021-03-11 16:10:34 · 154 阅读 · 0 评论 -
执行python代码或代码对象--eval--exec--
1. compile() compile()可以在程序运行时刻迅速生成代码对象,然后可用exec 语句或eval()函数来执行这些对象或对其进行求值。eval() 和 exec都可以执行字符串格式的python代码,但每次都必须对这些代码进行字节编译。而compile()刚好提供了一次性字节代码预编译,之后的调用,都不用重复编译,有助于改善性能。一般先由compile()函数对代码进行编译,返回一个code对象,然后由exec 或eval()执行。compile 有三个参数,都是必须的:原创 2021-01-27 13:10:38 · 432 阅读 · 0 评论 -
python 执行非python程序
1. os模块# 获得系统信息os.uname()('Linux', 'sjpt-hdwxnew-33.wxxdc', '4.4.0-142-generic', '#168-Ubuntu SMP Wed Jan 16 21:00:45 UTC 2019', 'x86_64')# 获得现在进程的真正用户os.getuid()1000# 获得现在的PIDos.getpid()1.2.3. os.fork()称为进程的单一执行流程控制调用fork()的原始进程称为父进.原创 2021-01-26 16:28:45 · 249 阅读 · 0 评论 -
python 多线程及多进程应用
1. threading 模块1. 1 Thread 类常见函数# 开始线程start()# 定义线程功能函数(一般会被子类重写)run()# 程序挂起,直到线程结束;timeout指定最多阻塞多少秒join(timeout=None)# 获得线程名字getName()# 设置线程名字setName(name)# 判断线程是否在运行中isAlive()# 是否为守护进程isDaemon()# 设置守护进程setDaemon()只有在要等待线程结束的时候才调用jio原创 2021-01-25 17:56:38 · 645 阅读 · 1 评论 -
python 基础知识(数据结构)
1. python 脚本起始行#/usr/bin/env pthon # 在类Unix 环境下,有起始行就能够仅输入脚本名来执行脚本,无需直接调用解释器。# 交换两个变量x, y = y, x原创 2021-01-07 15:42:25 · 152 阅读 · 0 评论 -
pandas 分批次读取大文件---chunkSize
当要处理一个较大文件时,一次性加载到内存可能导致内存溢出,pandas提供了一种以迭代器的方式读取文件,我们可以手动设置每个批次要读取的数据条数chunkSize。import pandas as pdimport chardet# 检测文件编码with open(r'data.txt', 'rb') as f: encode = chardet.detect(f.readline())['encoding']print(encode)# 建议如果检测出编码为ascii ...原创 2020-12-15 19:50:12 · 2735 阅读 · 0 评论 -
python连接数据库(Redis、Hive、MySQL、HDF5)
PyHive是Python语言编写的用于操作Hive的简便工具库。from pyhive import hiveconn = hive.Connection(host='localhost', port=10000, auth="NOSASL", database='db_name', username='zx_dm原创 2020-11-30 19:15:00 · 1008 阅读 · 2 评论 -
python 常用文件处理工具及shutil
# -*- coding: utf-8 -*-import sysimport osif __name__ == "__main__": try: # 使用正则表达式,避免转义符 output_path = r"hdfs://ns1/user/zz/test_dir" # 执行shell 命令 os.system('hdfs dfs -rm -r ' + output_path) except Exception a.原创 2020-09-15 11:17:38 · 975 阅读 · 0 评论