master_hunter的博客

Python的os（Operating System）库是一个用于与操作系统进行交互的标准库，它提供了许多有用的函数和变量，用于访问文件系统、环境变量、进程、管道、用户和组等操作系统相关的功能。这里我为大家总结了所有OS库里面的各类功能常用函数：有这张思维导图基本就够了，基本涵盖所有涉及到的Python基础系统路径操作功能函数了。当然还有很多关于这些函数细节的，需要辅以实际代码展示例子，以更直观的看到每个函数该如何使用和操作。

Python的os（Operating System）库是一个用于与操作系统进行交互的标准库，它提供了许多有用的函数和变量，用于访问文件系统、环境变量、进程、管道、用户和组等操作系统相关的功能。这里我为大家总结了所有OS库里面的各类功能常用函数：有这张思维导图基本就够了，基本涵盖所有涉及到的Python基础系统路径操作功能函数了。当然还有很多关于这些函数细节的，需要辅以实际代码展示例子，以更直观的看到每个函数该如何使用和操作。

补全一下Python的基础库功能篇，之前一直写pandas和机器学习模型，偶尔换个口味写写基础的。下一作专栏估计会将文本挖掘技术和爬虫技术结合起来出一期，敬请期待。Python 标准库非常庞大，所提供的组件涉及范围十分广泛，正如以下内容目录所显示的。这个库包含了多个内置模块 (以 C 编写)，Python 程序员必须依靠它们来实现系统级功能，例如文件 I/O，此外还有大量以 Python 编写的模块，提供了日常编程中许多问题的标准解决方案。

终于能够挤出一点时间来总结最近学到的一些技术知识点了，博主这两周被居家隔离-集中隔离-居家隔离来回折腾，现在终于是得到解放能够空出的时间来写写博客了，但是项目又催的紧，写博文的时间还是有限，这周我会尽量更新博文带来更多干货知识，一直以来谢谢大家的支持！学习是一个不断坚持的动态过程，学以致用才是关键。首先我们要明白pipenv存在的开发驱动是什么，对于python虚拟环境来说已经有virtualenv了，在anaconda直接切换一下环境就好了，那么为什么要使用pipenv这个虚拟管理工具呢？再者就是为什么要

稍微正式一点的项目，都会通过将代码组织成有层次结构的组织，以便于管理和持续维护。Python 通过的方式来组织代码，包是一种特殊的模块(module)。平时写的一些python代码都比较随意，更多的是直接作为脚本来使用，作为一个功能来用，但是一般真正的python项目工程化能力才是作为代码工程师应该掌握的能力。这样的层级结构才是作为一个项目或者是作为模块长久维护的最好形式。

是若干种文件压缩程序的简称，通常指GNU计划的实现，此处的gzip代表GNU zip。也经常用来表示gzip这种文件格式。GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种数据压缩格式，或者说一种文件格式。HTTP协议的GZIP编码是一种用来改进WEB应用程序性能的技术。

Base64是一种二进制到文本的编码方式。如果要更具体一点的话，可以认为它是一种将 byte数组编码为字符串的方法，而且编码出的字符串只包含ASCII基础字符。所以每6个比特为一个单元，对应某个可打印字符。3个字节有24个比特，对应于4个Base64单元，即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9，这样共有62个字符，此外两个可打印符号在不同的系统中而不同。

最近一直在研究HiveSQL的源码以及ANTLR包的源码，比较无奈的是工程上我还是偏向于使用Pycharm和python编程语言。其实编程语言选择都无所谓只是工具罢了，主要的是其中解析抽象树AST的思想以及方法。但是基础的语法方法需要掌握，比如Python调库以及引用，JAVA的import规则以及jar包的引用。...

正则匹配可以说是数据检索和遍历的基础技能了。在Python我们经常会用到需要提出特定字符的场景，尤其在网络爬虫爬取的编码后杂乱网页提取数据的的时候。在数据库提取数据后或是JSON文件做二次处理都需要re库进行提取。因此学好re库和正则表达是python工程师的必修课，你可以对正则表达式掌握的不是很熟练，但是必须要了解re库中存在的各种函数功能，这将大大加速你完成项目某项需求的时间也方便进行问题搜索。本文将详细介绍Python中正则表达式功能re库的功能。............

​面向对象化编程所有的实例对象和实例方法都必须以self作为第一个参数，文章内容接上一章：Python面向对象编程基础之面向对象思想和特点、类和对象。这个系列将会很详细的解释清楚Python面向对象编程这一编程思想是如何具体实现的。​............

目录前言一、Selenium（WEB自动化工具）1.简介2.功能3.优势4.版本4.1.selenium1.0组件selenium IDEselenium Gridselenium RC（Reomte Control）--核心不同语言启动selenium的方法--RC原理4.2.selenium 2.0历史主推的逻辑4.3.selenium 3.0浏览器驱动规范化：二、使用步骤1.安装Selenium2.下载浏览器驱动1.谷歌浏览器驱动2.火狐浏览器驱动3.测试点关注，防走丢，如有纰漏之处，请留言指教，非常

作为数据分析师，我们需要经常制作统计分析图表。但是报表太多的时候往往需要花费我们大部分时间去制作报表。这耽误了我们利用大量的时间去进行数据分析。但是作为数据分析师我们应该尽可能去挖掘表格图表数据背后隐藏关联信息，而不是简单的统计表格制作图表再发送报表。既然报表的工作不可免除，那我们应该如何利用我们所学的技术去更好的处理工作呢？这就需要我们制作一个Python小程序让它自己去实现，这样我们就有更多的时间去做数据分析。我们把让程序自己运行的这个过程称为自动化。自动化总是能够很好的节省时间，提高我们的工作效率。让

用Python写数据库操作的脚本时，少不了的是写入和读取操作。但这类方法参数说明大多都差不多，例如前段时间写的关于处理JSON文件的两类函数read_json,to_json。读取和写入这两种方法往往都是相对的，而当掌握了Pandas的dataframe数据结构的各种操作时，那么我们的插入方式将可以多种多样，对数据处理的方式也可以相对更加灵活。此篇文章将根据解读官方文档的方式具体使用每个参数的不同赋值，来展示结果。官方文档：pandas.DataFrame.to_sql 该函数的具体功能为实现将pan

面向对象是一种看待事物的思想，一种视觉角度，分析方式，我们可以把任意一个事物看成是一个对象，分析它身上具备的主要特征，这个就是面向对象思维；这样的思维方式很像数据库中的E-R图，将一种事物的特征、属性和行为给分离出来。我们一般写代码都是从开始到结束呈线性流程化模式写完整个程序，这种思想是典型的面向过程思想。而在写代码中面向对象编程，是将执行这些步骤时，把开发时要实现的功能提取出来，分成很多个小模块自定义函数去实现这些功能，而主体函数则去想使用这些自定义函数实现功能后如何运用。举个例子，就像我们打英雄联盟：面

什么是效率？简单就是效率！但是想要自己做的小程序足够美观可不是一件简单的事。一开始想做个小程序思路就是有个普通的button，一键使用就好了。但是写下来还是发现没用前端和结构话的编程后期维护很麻烦，所以以后的程序格式都应该尽量符合业界规范。世界上那么多种解决问题的方法，为什么大家都认可那么一两钟？肯定是有他的道理的。好了废话不多说，现在开始设计我们的小程序。首先我们先确定需求：我们需要一个可以选择目录，自动处理该目录下面的文件。我们知道文件它是有类型的，而我们可以通过文件的后缀名称来分类。其中有txt、js

前言首先线程和线程池不管在哪个语言里面，理论都是通用的。对于开发来说，解决高并发问题离不开对多个线程处理。我们先从线程到线程池，从每个线程的运行到多个线程并行，再到线程池管理。由浅入深的理解如何在实际开发中，使用线程池来提高处理线程的效率。一、线程线程（英语：thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。在Unix System ......

前言在我们使用线程池控制线程运行时，或者是写爬虫时不停发送request获取地址，都需要我们对运行的线程加以控制。有这样一种场景，当你写入一条网站请求时，该线程一直请求并没有回应导致线程造成堵塞，浪费珍贵的线程资源。当你写入一条错误的sql查询语句时，该查询语句一直运行需要花费大量时间，导致其他查询语句阻塞。遇到如上述情况必须对线程加以控制，才能使得程序脚本稳定性更高。控制线程运行时间方法有多种这里介绍两种方法，一种是用eventlet库的方法进行，该方法只要进行了子程序调用就失效了。另一种..

前言首先使用python很大一部分人是用于数据分析或者是开发，而数据来源一般都是存储在数据库中。作为python怎么能不会从mysql里面获取到数据呢。而pymysql就是联通mysql实现python窗口与mysql数据库交互的库，十分方便操作。此篇文章将详细说明如何掌握并使用该库。mysql库官方文档：PyMySQL一、pymysql用途pymysql是可用于连接mysql数据库，且能够提供mysql与python窗口交互创立通道的工具库。可以通过创建引擎，建立游标直接通过python编..

前言本文接上一篇博客：Python处理JSON文件数据各类操作一文详解。处理JSON文件一般并且进行统计或分析都需要把JSON文件格式转换为dataframe形式或是将dataframe转换为JSON，这都需要用到to_json()和read_json()函数。如果能够掌握该两种函数的参数用法能够节省不少时间和代码对后续的文件再处理，因此本篇文章初衷为详细介绍并运用此函数来达到彻底掌握的目的。希望读者看完能够提出问题或者看法，博主会长期维护博客做及时更新。纯分享，希望大家喜欢。一、to_js..

前言本文将详细描述如何利用python来处理JSON文件，将由浅入深从JSON文件格式介绍一步一步到python自带json库函数解析，整合上述操作再实现python脚本处理JSON文件。一、JSON介绍JSON(JavaScriptObject Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语...

前言管理多脚本，要实现大量统计计算以及大量脚本进行统计，定时运行并反馈结果是很多大数据项目场景中十分常见的，就该问题本篇文章提供思路方法以及部分代码。一、创建时间首先可以通过python自带的datetime库获取本地时间，对于Pythpn时间序列想要更深入的了解可以参阅：一文速学-Pandas处理时间序列数据操作详解。python3是自带datetime库的，他有自身代表时间的数据类型datetime。由此我们可以根据datetime数据结构进行运算，运用逻辑可以达到一定的时间控制。但..