![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 83
艾欧尼亚归我了
这个作者很懒,什么都没留下…
展开
-
Centos环境Python3使用impyla连接Hive
pip install pure-sasl==0.5.1pip install thrift_sasl==0.2.1 --no-depspip install thrift==0.9.3pip install bitarray==0.8.3pip install cython thriftpy==0.3.9pip install impyladef query_hi...原创 2019-11-29 14:44:57 · 411 阅读 · 0 评论 -
python实现内网资产自动收集
#!/usr/bin/python# -*- coding:utf-8 -*-import osimport getpassimport timeimport socketimport reimport threadingfrom Queue import Queueimport platformimport typesfrom subprocess import Pop...转载 2019-10-21 20:32:59 · 891 阅读 · 0 评论 -
python--函数篇3
函数递归函数什么是递归函数?在一个函数的内部调用自身的函数,称为递归函数。 注意:分解:原问题可以分解为若干个子问题,且子问题为原问题较小规模的实例。 解决:递归求解子问题,当子问题的规模足够小,则直接求解。 合并:将子问题的解一层层的合并返回,直到返回结束,得到原问题的解由上可以得到,递归必须要有一个结束条件(规模足够小,直接求解),而且需要一个递归的公式(子问题为原问题较小规模的实例)。满足以...转载 2018-04-10 20:57:35 · 170 阅读 · 0 评论 -
python动态生成变量及sql语句与DF表转化
先说效果: 如图,本来是这样的一个DF表,表示各字段限制条件(A、B、C、D均为字段名) 通过下面步骤转化为一条sql语句,当然也做了反向操作for i in range(3): locals()['f'+str(i)]=[]import pandas as pdimport numpy as npa = pd.DataFrame({"A":[">=",5],...原创 2018-04-27 15:58:17 · 1979 阅读 · 0 评论 -
python_requests
我们已经讲解了Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。安装requests如果安装了Anaconda,requests就已经可用了。否则,需要在命令行下通过pip安装:$ pip install requests如果遇到Permission ...转载 2018-05-07 10:27:37 · 224 阅读 · 0 评论 -
python处理docx
#写入from docx import Documentfrom docx.shared import Inchesdocument = Document()document.add_heading('Document Title', 0)p = document.add_paragraph('A plain paragraph having some ')p.add_run('b...转载 2018-06-21 10:23:38 · 901 阅读 · 0 评论 -
CentOS 6.9安装LibreOffice及字体安装及python调用
最近由于遇到了要使用预览的功能,然后有一个doc转PDF的需求,然后需要使用libreoffice的功能,然后使用 soffice --headless --invisible --convert-to pdf /tmp/abc.docx --outdir /tmp/ 就可以安装了。libreoffice安装[root@CentOS~]# yum install libreoffice[root...转载 2018-06-22 12:15:39 · 1234 阅读 · 0 评论 -
Python脚本消费kafka数据
kafka简介(摘自百度百科)一、简介:详见:https://blog.csdn.net/Beyond_F4/article/details/80310507二、安装详见博客:https://blog.csdn.net/beyond_f4/article/details/80095689 三、按照官网的样例,先跑一个应用1、生产者:from kafka import Ka...转载 2018-06-24 14:00:21 · 17430 阅读 · 1 评论 -
python监听端口收到的信息(TCP)
import threadingimport socketencoding = 'utf-8'BUFSIZE = 1024# a read thread, read data from remoteclass Reader(threading.Thread): def __init__(self, client): threading.Thread.__i...转载 2018-06-24 14:12:32 · 14727 阅读 · 2 评论 -
python: tcp/ip学习、端口号、UDP的发送和接受数据、绑定端口号、模拟聊天室
1、 在进程中为每个系统定义了一个数字,就是端口,知道数据发送到哪个程序中;ip决定发送到哪个电脑。因为不同的电脑程序所在的进程号不同,不能通过进程号来发送。通过端口进入程序所在的进程。 2、端口号的数值0-655353、知名端口号0~1023和动态端口号 80端口网站:HTTPipv4:端口号用来区分不同的应用程序。4、ip地址:在网络上标定一个电脑,地址: 网络地址和主机地址(即网络号和主机号...转载 2018-06-24 14:13:31 · 1140 阅读 · 0 评论 -
kafka-python安装实践
#网上看的教程都很麻烦,也不知道为什么,反正我是pip install setuptoolspip install kafka-python就OK了setuptools是kafka-python的依赖库原创 2018-05-05 15:36:03 · 5004 阅读 · 1 评论 -
python计算股价与前一天股价关联(皮尔逊系数)
import pandas as pda = pd.read_csv("a.csv",names=["ha"])b = a.iloc[1:,:]row = pd.DataFrame({"ha":range(1)},index=range(a.index.size,a.index.size+1))c = pd.concat([b,row]).rename(columns={"ha":"he...原创 2018-04-25 20:32:35 · 963 阅读 · 0 评论 -
python计算股价与前一天新闻情感指数关联(皮尔逊系数)
import pandas as pdfrom datetime import datetimefrom datetime import timedeltaimport matplotlib.pyplot as plt a = pd.read_csv("c.csv")b = pd.read_csv("d.csv")a["newsPublishTime"]=a["newsPublishT...原创 2018-04-25 17:01:33 · 982 阅读 · 0 评论 -
如何用Python写一个安卓APP
前言:用Python写安卓APP肯定不是最好的选择,但是肯定是一个很偷懒的选择,而且实在不想学习Java,再者,就编程而言已经会的就Python与Golang(注:Python,Golang水平都一般),那么久Google了一下Python写安卓的APP的可能性,还真行。既然要写个APP,那么总得要有个想法吧。 其实笔者想做两个APP来着,一个是自己写着好玩的,一个是关于运维的。 关于运维的APP...转载 2018-04-11 19:23:56 · 82738 阅读 · 8 评论 -
python函数学习(持续更新ing)
一、判断是否为吉祥数字方法一:数字转化为字符串再转化为集合去重def lucky_num(num): #判断是否为吉祥数字 for i in set(str(num)): if str(i)=="8": print("吉祥") break else: ...原创 2018-04-11 20:23:56 · 1409 阅读 · 0 评论 -
python最全正则表达式
百度了很多正则表达式,此文最全:正则表达式是一个很强大的字符串处理工具,几乎任何关于字符串的操作都可以使用正则表达式来完成,作为一个爬虫工作者,每天和字符串打交道,正则表达式更是不可或缺的技能,正则表达式的在不同的语言中使用方式可能不一样,不过只要学会了任意一门语言的正则表达式用法,其他语言中大部分也只是换了个函数的名称而已,本质都是一样的。下面,我来介绍一下python中的正则表达式是怎么使用的...转载 2018-04-12 13:39:35 · 191 阅读 · 0 评论 -
正则基础之——环视(Lookaround)
1 环视基础环视只进行子表达式的匹配,不占有字符,匹配到的内容不保存到最终的匹配结果,是零宽度的。环视匹配的最终结果就是一个位置。环视的作用相当于对所在位置加了一个附加条件,只有满足这个条件,环视子表达式才能匹配成功。环视按照方向划分有顺序和逆序两种,按照是否匹配有肯定和否定两种,组合起来就有四种环视。顺序环视相当于在当前位置右侧附加一个条件,而逆序环视相当于在当前位置左侧附加...转载 2018-04-12 13:40:17 · 160 阅读 · 0 评论 -
Python 正则式学习笔记
1. Python正则式的基本用法1.1基本规则1.2重复1.2.1最小匹配与精确匹配1.3前向界定与后向界定1.4组的基本知识2. re模块的基本函数2.1使用compile加速2.2 match和search2.3 finditer2.4 字符串的修改与替换3. 更深入的了解re的组与对象3.1编译后的Pattern对象3.2 组与Match对象3.2.1组的名字与序号3.2.2 Mat...转载 2018-04-12 13:44:06 · 161 阅读 · 0 评论 -
Python正则表达式操作指南
摘要本文是通过Python的 re 模块来使用正则表达式的一个入门教程,和库参考手册的对应章节相比,更为浅显易懂、循序渐进。本文可以从 http://www.amk.ca/python/howto 捕获目录目录 [隐藏] 1 简介2 简单模式2.1 字符匹配2.2 重复3 使用正则表达式3.1 编译正则表达式3.2 反斜杠的麻烦3.3 执行匹配3.4 模块级函数3.5 编译标志4 更多模式功能4....转载 2018-04-12 13:45:43 · 139 阅读 · 0 评论 -
Python操作MySQL数据库的三种方法
1. MySQLdb 的使用(1) 什么是MySQLdb? MySQLdb 是用于 Python 连接 MySQL 数据库的接口,它实现了 Python 数据库 API 规范 V2.0,基于 MySQL C API 上建立的。(2) 源码安装 MySQLdb: https://pypi.python.org/pypi/MySQL-python$ tar zxvf MySQL-python-*.t...转载 2018-04-22 10:49:56 · 387 阅读 · 0 评论 -
Linux与数据库简要总结
Linux与数据库简要总结LinuxLinux内核最初只是由芬兰人李纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix...转载 2018-04-22 14:37:56 · 3083 阅读 · 0 评论 -
python中使用xlrd、xlwt操作excel表格详解
python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库。可从这里下载https://pypi.python.org/pypi。下面分别记录python读和写excel.python读excel——xlrd这个过程有几个比较麻烦的问题,比如读取日期、读合并单元格内容。下面先看看基本的操作:首先读一个excel文件,有两个sheet,测试用第...转载 2018-06-25 11:13:31 · 1924 阅读 · 0 评论 -
python读取xml文件
关于python读取xml文章很多,但大多文章都是贴一个xml文件,然后再贴个处理文件的代码。这样并不利于初学者的学习,希望这篇文章可以更通俗易懂的教如何使用python 来读取xml 文件。 什么是xml?xml即可扩展标记语言,它可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。abc.xml<?xml version="1.0" encoding="utf...转载 2018-06-18 15:06:42 · 175 阅读 · 0 评论 -
python实现UDP通信
UDP,用户数据报传输协议,它位于TCP/IP协议的传输层,是一种无连接的协议,它发送的报文不能确定是否完整地到达了另外一端。UDP广泛应用于需要相互传输数据的网络应用中,如QQ使用的就是UDP协议。在网络质量不好的情况下,使用UDP协议时丢包现象十分严重,但UDP占用资源少,处理速度快,UDP依然是传输数据时常用的协议。下面是用python实现UDP服务器的代码(基于python2.X):...转载 2018-06-25 17:51:00 · 14446 阅读 · 3 评论 -
python paramiko模块SSH自动登录linux系统进行操作
1). Linux系统首先要开启SSH服务:service ssh status如果没安装的话,则要:apt-get install openssh-serverservice ssh restart2). pip install paramiko example 1:import paramikossh = paramiko.SSHClient()ssh.set...转载 2018-09-19 19:47:52 · 1488 阅读 · 0 评论 -
python---word表格样式设置
1、word表格样式的设置 from docx import * document = Document() table = document.add_table(3, 3, style="Medium Grid 1 Accent 1") heading_cells = table.rows[0].cells heading_cells...转载 2018-09-19 19:50:01 · 2007 阅读 · 0 评论 -
使用Anaconda创建虚拟环境并搭建Django项目
一.创建虚拟环境1)打开cmd命令窗口2)创建虚拟环境 conda create -n mydjango_env3)查看虚拟环境 conda env list*号表示当前使用的环境4)激活创建的虚拟环境 activate mydjango_env二.安装Django在新环境激活的状态下安装Django?conda install django三.创建项目...转载 2018-11-19 09:59:41 · 1824 阅读 · 1 评论 -
【秒懂】号称最为简明实用的Django上手教程(下)
摘要:上文号称【最为简明实用的Django上手教程】介绍了django基本概念、配置和相关操作。相信通过上文的阅读,基本明白django运行机制和操作。假设你现在通过dome和相关书籍已经基本理解django这台机器的运行。下一步如何像asp.net、Jsp,PHP等常规网站开发,进行前后台交互呢?又如何采用较为简洁美观的前端框架进行设计呢?假设你需要配置多个数据库怎么办?静态文件单独存放需要哪些...转载 2018-11-19 10:00:47 · 287 阅读 · 0 评论 -
python监控服务是否正常
应用服务部署到正式服务器(本例以部署到linux)后,当应用异常时能及时通知维护人员登陆服务器进行处理,本例用python编写了监控程序,达到监控应用服务的状态,了解各应用运行情况目的。监控代码:# -*- coding:utf-8 -*- -import mathimport osimport sysimport urllib.parseimport urllib.requ...转载 2019-03-18 12:47:06 · 640 阅读 · 0 评论 -
Python监控服务器利器--psutil
服务器的监控通过安装一些常用的监控软件之外,有时也需要运行一些shell或Python脚本;shell下可以使用系统自带的ps/free/top/df等shell命令,Python可以调用subprocess等模块来运行shell命令,不过这么做就比较麻烦。这里有一个比较好用的第三方模块:psutil。psutil是一个跨平台的库,用于在Python中检索有关运行进程和系统利用率(CPU,内存...转载 2019-08-14 16:01:42 · 265 阅读 · 0 评论 -
Python3 操作 elasticsearch
elasticsearch 模块Elasticsearch低级客户端。提供从Python到ES REST端点的直接映射。连接集群节点指定连接es = Elasticsearch( ['172.16.153.129:9200'], # 认证信息 # http_auth=('elastic', 'changeme'))动态连接es = Elastic...转载 2019-09-09 19:17:17 · 3334 阅读 · 0 评论 -
python连接hive配置
注:Python端所在服务器为centos6.8一,hive安装配置参考博文:https://blog.csdn.net/u010916338/article/details/89764877重要一点,hive是个客户端,不是集群,在hive所在节点必须执行如下命令:hive --service hiveserver2参考博文:https://blog.csdn.net/zhan...转载 2019-09-19 10:58:48 · 509 阅读 · 0 评论 -
精选26个Python实用技巧
【导读】Python 虽然是脚本语言,但是因为其易学,迅速成为科学家的工具,从而积累了大量的工具库、架构,人工智能涉及大量的数据科学,用 Python 是很自然的事。磨刀不误砍柴工,要入门人工智能领域,就必须掌握 Python。让我们来看看 Peter Gleeson 整理的 26 个 Python 有用的技巧。 Python 是世界上最流行、最受欢迎的编程语言之一。原因有很多:...转载 2018-09-19 14:11:50 · 252 阅读 · 0 评论 -
python转化日志文件到dataframe
原文件大致格式为logfile = open('xxx.log', 'r')#第一种方法:分布拆解d = pd.DataFrame({"proto":""},index=["0"])for line in logfile: log = line.split(";") a = [] b = {} for name in log: #将除了第一个冒...原创 2018-06-20 17:26:59 · 1439 阅读 · 0 评论 -
Python验证码识别 安装Pillow、tesseract-ocr与pytesseract模块的安装以及错误解决
1.安装Pillowpip install Pillow2.安装tesseract-ocr OCR(Optical Character Recognition, 光学字符识别) 软件安装包含两个部分:ORC引擎本身以及对应语言的训练数据 github地址: https://github.com/tesseract-ocr/tesseractYou can either Install Tess...转载 2018-07-09 10:35:01 · 293 阅读 · 0 评论 -
安装pip实践报错及解决
wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificatetar -axf pip-1.5.4.tar.gz cd pip-1.5.4/python setup.py install########此...原创 2018-06-27 14:35:39 · 2381 阅读 · 0 评论 -
python yield理解
您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一...转载 2018-07-16 21:01:34 · 142 阅读 · 0 评论 -
爬取猫眼电影,多方式解析(正则表达式、XPath、Beautiful Soup、Pyquery)
主函数都一样,只是解析的方式(parse_one_page)不一样效果:1 霸王别姬 主演:张国荣,张丰毅,巩俐 上映时间:1993-01-01(中国香港) 9.62 肖申克的救赎 主演:蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿 上映时间:1994-10-14(美国) 9.53 罗马假日 主演:格利高里·派克,奥黛丽·赫本,埃迪·艾伯特 上映时间:1953-09-02(美国) 9.14 这个杀...原创 2018-07-15 14:06:03 · 1690 阅读 · 1 评论 -
时间字符串、时间戳、时间差、任意时间字符串转换时间对象
1. 时间字符串 --> 时间戳 1) time 模块timestring = '2016-12-21 10:22:56'print time.mktime(time.strptime(timestring, '%Y-%m-%d %H:%M:%S')) # 1482286976.0 time.mktime() 与 time.localtime() 互为还原函数。...转载 2018-07-26 15:43:28 · 1590 阅读 · 0 评论 -
python IMAP4命令详解
IMAP4 RFC3501 1.<TAG> CREATE <folder> CREATE可以创建指定名字的新邮箱。邮箱名称通常是带路径的文件夹全名。(有些IMAP客户机使用邮件夹称呼新邮箱) C: A003 CREATE owatagusiam/ /*创建一个新目录owatagusiam*/ S: A003 OK CREATE c...转载 2018-07-27 11:40:06 · 4754 阅读 · 0 评论