![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python基础
crystalnsd
坚持不懈,厚积薄发
展开
-
python并发编程之线程池(三)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、concurrent.futures 中实现的ThreadPoolExecutor二、 multiprocessing.pool 中实现的ThreadPool三、自定义一个线程池总结前言 在日常生活中,如果需要复用多线程去处理成千上万的任务时,我们不能无限的去新建线程,销毁线程,这样会导致服务器出现灾难性的后果,这时,我们就需要使用线程池,这样我们可以最程度的减少创建线程,销毁线程造成的资源消耗原创 2020-12-23 09:09:08 · 290 阅读 · 0 评论 -
python并发编程之多线程(二)
文章目录python并发编程之多线程(二)conditioneventpython并发编程之多线程(二)上一篇介绍了,threading 模块的主核心设计 Thread, Semaphore, Lock/Rlook这一篇将介绍多线程的condition ,event,queue, 及其应用场景condition 一个线程等待特定条件,另一个线程的发送特定条件 ,这进condition就可以派上用场,用生产/消费模式示例import threadingimport timedef co原创 2020-12-16 10:05:01 · 256 阅读 · 0 评论 -
python定义hive udf函数
UDF + PYTHON问题1:报错Cannot run program “python”: error=2, No such file or dictory解决: hadoop_env ,yarn-env.sh ,hive-env中加入python环境变量:export PYTHON_HOME=/opt/anaconda3export PATH=PATH:PATH:PATH:PYTHON...原创 2020-02-16 23:15:33 · 718 阅读 · 0 评论 -
用python 实现各类数学距离
1 、实现欧氏距离import numpy as npimport matha = np.mat([1,2,3])b = np.mat([4,7,5])ed = np.sqrt((a-b) * (a-b).T) ##实现欧氏距离2、实现曼哈顿距离mht = np.sum(np.abs(a-b)) ## 实现曼哈顿距离3、实现切比雪夫距离chbsh = np.max(np.abs(a-b)) ##原创 2017-11-27 14:40:03 · 569 阅读 · 0 评论 -
cx_Oracle 报错:cx_Oracle.DatabaseError: DPI-1050: Oracle Client library must be at version 11.2
解决:从 https://pypi.python.org/pypi/cx_Oracle/5.3 下载低版本cx_Oracle版本 我是下载cx_Oracle-5.3-11g.win32-py3.6.exe 直接安装 就ok了原创 2017-10-26 17:29:55 · 18205 阅读 · 1 评论 -
linux 下安装python cx_Oracle 包
cx_Oracle安装需要依赖oracle客户端的一些包, 所以我们经常安装cx_Oracle之前,而不得不先安装oracle客户端 但是cx_Oracle依赖的东西并不多,感觉有点得不偿失,所以下面给出一种解决方法能简单很多。先下载instantclient-basic-linux.x64-11.2.0.4.0.zip,instantclient-sdk-linux.x64-11.2.0.4.原创 2017-11-01 20:18:17 · 1700 阅读 · 0 评论 -
anaconda 在linux(centos7) 下的安装(虚拟机离线情况下)
1 软件下载:anaconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/bzip2: http://www.bzip.org/downloads.html (如果linux 已经安装bzip2,则不用安装 )2安装1 安装bzip2(如果已经安装则不用这一步,在命令行输入bunzip2检测)tar -zxf bzip2原创 2017-10-28 00:27:10 · 4474 阅读 · 0 评论 -
用python 实现链表(实现__getitem__,__set__,__len__ 魔法方法)
'''用python 实现数据结构--链表的实现'''class LinkListException(Exception): def __init__(self,ex_info): self.info = ex_info #print(self.info)class Node(): def __init__(self,data,next = No原创 2017-09-18 19:28:59 · 779 阅读 · 0 评论 -
python中多层嵌套列表的拆分
场景:有一个多层嵌套的列表如:[[23],[3,3],[22,22],1,123,[[123,a],2]] 拆分成:def splitlist(list): ''' 现有一个列表,里面元素包括 数字,字母,列表,字典等元素,现在要将字典去掉,并将列表 分解成字母,或数字元素如:[[1,2,3],2,3,[1,3,[12,22]],'a',12]原创 2017-06-27 23:09:04 · 17588 阅读 · 1 评论 -
python format 用法详解
前序:format是python2.6新增的一个格式化字符串的方法,相对于老版的%格式方法,它有很多优点。不需要理会数据类型的问题,在%方法中%s只能替代字符串类型单个参数可以多次输出,参数顺序可以不相同填充方式十分灵活,对齐方式十分强大官方推荐用的方式,%方式将会在后面的版本被淘汰原创 2017-07-24 17:05:47 · 82904 阅读 · 12 评论 -
用python创建线程池
面向对象开发中,大家知道创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。无节制的创建和销毁线程是一种极大的浪费。那我们可不可以把执行完任务的线程不销毁而重复利用呢?仿佛就是把这些线程放进一个池子,一方面我们可以控制同时工作的线程数量,一方面也避免了创建和销毁产生的开销。线程在官方文档没有明确说明,但是是在multiprocessing 中给出了定义from mu原创 2017-06-14 19:37:29 · 1792 阅读 · 0 评论 -
python 多线程详解
前言对我来说,编程的乐趣之一是想办法让程序执行的越来越快,代码越写越优雅。在刚开始学习并发编程时,相信你它会有一些困惑,本文将解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案。GILPython(特指CPython)的多线程的代码并不能利用多核的优势,而是通过著名的全局解释锁(GIL)来进行处理的。如果是一个计算型的任务,使用多线程GIL就会让多转载 2017-06-14 15:04:43 · 349 阅读 · 0 评论 -
从mysql获取表转化为hive建表语句(python语言)
脚本可以直接从mysql 数据库里获取表信息,直接生成hive建表语句'''Created on 2017年6月29日@author: 80002419'''import pymysqlimport redef get_table_info(table,schema = '',ispartition = True): ''' table = 为表名,mysq原创 2017-07-13 13:57:48 · 5286 阅读 · 0 评论 -
python并发编程之多线程(一)
编程的乐趣在于让程序越来越快,这里将给大家介绍一个种加快程序运行的的编程方式——多线程1著名的全局解释锁(GIL)说起python并发编程,就不得不说著名的全局解释锁(GIL)了。有兴趣的同学可以我查找一下相关的资料了解一下GIL,在这里大家只要知道一点,因为GIL的存在,对于任何Python程序,不管有多少的处理器,任何时候都总是只有一个线程在执行。下面先看一个例子:#原创 2020-12-08 10:10:02 · 3821 阅读 · 10 评论 -
利用python进行数据分析第二章第二个例子
# -*- coding: utf-8 -*-"""Created on Thu May 4 17:32:45 2017利用python进行数据分析第二章第二个例子数据下载:http://download.csdn.net/download/zdxxinlang/9671783@author: 80002419"""import pandas as pdimpor原创 2017-06-05 16:10:00 · 1614 阅读 · 0 评论 -
利用python对数据分流
业务需求:hive表中包含了顺丰的所有的运单流向(北京到深圳为一个流向,全国大约十万个流向),现将数据分流,将每一个流向写入一个文件中 report_dt 报表时间 src_area_code 始发地区代码 src_dept_name 始发地区名称原创 2017-05-31 14:16:13 · 1667 阅读 · 1 评论