python
ITIRONMAN
we can talk:Double_dongli
展开
-
jupyter-notebook无法检测到conda 的虚拟环境
python原创 2022-06-14 11:57:29 · 610 阅读 · 0 评论 -
结巴分词源码详解
1、调包方式1.1 代码split_input = "共和国成立仪式于2020年在人民大会堂召开"split_result = jieba.cut(split_input, HMM=False)print(list(split_result))split_result = jieba.cut(split_input, HMM=True)print(list(split_result))1.2 结果2、手工计算2.1 读取字典import marshalwith op原创 2021-07-08 15:10:30 · 484 阅读 · 1 评论 -
mongodb导入到mysql数据库
1、使用Studio 3T导出数据为CSV2、写python脚本import pandas as pdimport pymysqlimport datetimeclass DBHelper: def __init__(self, dbName, env): if env == "dev": self.host = "10.33.43.19" self.port = 3306 self.user原创 2021-06-04 17:30:07 · 577 阅读 · 0 评论 -
ES数据大批量导入MySQL
import osimport pymysqlfrom elasticsearch import Elasticsearchimport datetimeimport requestsimport jsonclass DBHelper: def __init__(self, dbName, env): if env == "dev": self.host = "192.168.1.19" self.port = 3..原创 2021-06-01 16:26:06 · 2115 阅读 · 0 评论 -
调用GPU执行计算
1、调用gpu执行计算任务性能要好于cpu,所以可以通过如下编码实现import timeimport tensorflow as tfg = tf.Graph()# 指定计算运行的设备a=0import osos.environ["CUDA_VISIBLE_DEVICES"]="1"print(tf.test.is_gpu_available())with g.device('/gpu:1'): while True: a=a**22、日志如下20原创 2021-05-21 17:33:27 · 7606 阅读 · 0 评论 -
正则表达式在线测试网站推荐
大家经常用正则表达式,下面介绍一个超级好用的正则表达式在线测试网站:超好用正则在线测试:https://regexr.com/原创 2021-04-21 19:50:40 · 5719 阅读 · 1 评论 -
python一行式编程技巧
1、快速访问linux服务器上的文件 python -m http.server port此时访问浏览器2、交换a,b的值Type "help", "copyright", "credits" or "license" for more information.>>> a,b=3,4>>> a,b(3, 4)>>> b,a=a,b>>> a,b(4, 3)>>> 3.原创 2021-03-30 18:00:02 · 168 阅读 · 0 评论 -
浅谈*args和**kwargs
1、*args其实就是不确定数量的列表参数def test_one_spar_args(arg1,*args): print("first arg is:",arg1) for arg in args: print("after arg is:",arg)test_one_spar_args("hi","this","is","a","args","test")first arg is: hiafter arg is: thisafter arg is: i原创 2021-03-30 16:51:42 · 118 阅读 · 0 评论 -
Python的asyncio异步编程
1、为什么要用异步编程所谓同步,是指操作一个接一个地执行,下一个操作必须等上一个操作执行完成之后才能开始执行;而异步是指不同操作间可以相互交替执行,如果其中地某个操作被堵塞,程序并不会等待,而是会找出可执行的操作继续执行,所以当存在大量请求的时候,异步编程的响应速度会存在巨大差别。2、异步编程小案例请看如下代码:import asyncioimport aiohttpimport timeimport requestssites = [ 'https://www.flvc原创 2021-03-30 15:25:53 · 116 阅读 · 0 评论 -
python使用自定义clock优化代码效率
1、一个方法如何判断该方法执行的时间,请使用装饰器首先,我默认大家已经知道装饰器是什么了,不知道的,请自行学习,后期也会出相关文章,然后如何通过装饰器来精准管理每个方法执行时间,从而优化代码呢?如下:(1)写一个clock装饰器def clock(func_role): def decorate(func): def clocked(*_args): start_time = time.time() _result = f原创 2021-03-30 14:55:07 · 232 阅读 · 0 评论 -
python 日志函数书写规范
python开发中,需要经常用到日志模块,这一块如果写会比较好呢,下面是该模块的比较规范的写法import loggingLOG_LEVEL = logging.INFOLOG_DIR = "log"LOG_FILE = "info.log"def get_logger(name, log_file=LOG_FILE, level=LOG_LEVEL): logger = logging.getLogger(name) logger.setLevel(level) l原创 2021-03-26 17:53:48 · 595 阅读 · 2 评论 -
使用python将DataFrame数据直接导入到postgreSQL
1、导入需要的包from sqlalchemy import create_engine2、创建连接来导入connect = create_engine('postgresql+psycopg2://'+'username'+':'+'password'+'@ip'+':'+str(5432) + '/' + 'databasename')pd.io.sql.to_sql(df_se...原创 2019-02-25 18:02:53 · 5993 阅读 · 1 评论 -
使用sed命令对文件中匹配到的行进行删除
1、删除空行命令:sed "/^$/d" 如果需要对源文件进行替换,则加入-i参数即可命令:sed -i "/^$/d" log.txt2、删除匹配上模式的行命令:sed -i "/pattern/d" log.txt,比如:sed -i "/npm/d" log.txt,可以删除带有npm的行 ...原创 2018-11-22 16:26:29 · 47600 阅读 · 0 评论 -
使用grep来查找当前目录下符合正则表达式的文件
如下,-r表示递归往下搜索,n表示显示行号,-o表示只展示匹配上的文件,*表示当前目录下所有文件grep -rn "__webpack_hmr" -o *第二种写法:grep -rno "__webpack_hmr" *...原创 2018-11-15 18:11:23 · 2585 阅读 · 0 评论 -
服务器安装jupyter notebook
服务器安装Jupyter notebook,并远程访问使用使用服务器安装jupyter并远程使用的方法较简单,可以按照以下几步进行:1、安装jupyter在带有python环境的服务器上执行命令:pip install jupyter安装过程极其缓慢,中间可能数次会出现链接断开,没办法,重新开始就行了2、生成配置文件(1)在linux下执行命令: jupyter notebook --genera...原创 2018-04-02 16:35:18 · 4360 阅读 · 1 评论 -
使用国内镜像提高python使用pip安装包的速度
国内资源:清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学:http://pypi.hustunique.com/山东理工大学:http://pypi.sdutlinux....原创 2018-04-02 21:22:51 · 276 阅读 · 0 评论 -
Python读取文件编码错误终极解决办法
用python读取文件会出现字符编码问题,有个终结解决办法,就是用二进制去读,就不会出错误了,如下:原创 2018-04-16 19:41:29 · 8748 阅读 · 1 评论 -
使用pandas将DataFrame数据直接写入MySQL数据库
先看下需要存入的df数据:安装并导入需要的库:先创建数据库:开始直接一条pandas入库:入库后查看数据:注意:(1)再进行入库的时候,他会根据列自动选择类型,可能为double、float等,后面如果出现类型不匹配,就会报错,这种情况一定要进入数据库后去改下数据类型,不然会一直报错(2)pymysq:此处用的是pymsql,不要再用mysqldb,这是个坑,很麻烦,安装也很麻烦,还是用这个吧,网...原创 2018-04-24 17:46:02 · 62768 阅读 · 9 评论 -
根据DataFrame某一列的值来选择具体的某一行
原始数据的DF:此时,我要选择列名isInfected为“手足口病”的样本行:总结:选择DataFrame里面某一列等于某个值的所有行,用一条命令即可解决即:df.loc[df['columnName']=='the value']...原创 2018-04-24 17:55:35 · 32204 阅读 · 1 评论 -
解决seaborn和matplotlib中中文字体显示方框的问题
1、下载字体:2、人工指定字体:import numpy as npimport pylab as plimport matplotlib.font_manager as fmfonts = fm.FontProperties(fname='../fonts/msyh.ttc') # 设置字体t = np.arange(0.0,2.0 * np.pi,0.01) # 自变量取值范围s = np.s...原创 2018-04-24 18:18:39 · 5842 阅读 · 1 评论 -
python遍历目录中文件名称
>>> import os>>> files= os.listdir('E:\\Infectious_data')>>> files['infectious_284215.xml', 'infectious_286167.xml', 'infectious_286168.xml', 'infectious_286891.xml', 'infec...原创 2018-04-20 15:33:31 · 1283 阅读 · 0 评论 -
Python正则表达式(含正则表达式速查表)
1、正则表达式的优点正则表达式能够匹配只要你能描述出来的字符串,对于普通的文本中常用的一些关键词,如果想匹配某种模式很适合用而不是通过普通的contains这种是否含有等匹配。2、python正则表达式速查表3、python正则表达式使用方法:首先,导入python的re模块import re# 将正则表达式编译成Pattern对象pattern = re.compile(r'因.+?入院')#...原创 2018-04-25 12:13:25 · 3584 阅读 · 0 评论 -
Python自然语言处理之jieba分词
1、函数及用法jieba.cut 方法接受三个输入参数:需要分词的字符串cut_all 参数用来控制是否采用全模式HMM 参数用来控制是否使用 HMM 模型jieba.cut_for_search 方法接受两个参数需要分词的字符串是否使用 HMM 模型。jieba.lcut以及jieba.lcut_for_search直接返回 list:利用tf-idf来提取关键词和文本的tags:另外,对于大量...原创 2018-04-25 16:00:37 · 541 阅读 · 0 评论 -
使用pandas 画出混淆矩阵
原创 2018-06-14 20:51:46 · 4410 阅读 · 0 评论 -
根据DataFrame的某些列的值来筛选某些行
原创 2018-06-14 21:00:14 · 14526 阅读 · 0 评论 -
Python读取文件字符编码问题
在使用python命令行读取文件的时候很容易由于字符编码造成各种问题,下面是读取文件的的时候遇到的一个问题:text = open("C:/Users/Administrator/Desktop/out.txt",'r')lines = text.readlines()Traceback (most recent call last): File "", line 1, in原创 2017-11-03 12:52:06 · 22607 阅读 · 0 评论