- 博客(138)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [347]python sorted和operator.itemgetter函数
operator.itemgetter函数operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参数为一些序号（即需要获取的数据在对象中的序号），下面看例子。a = [1,2,3] >>> b=operator.itemgetter(1) //定义函数b，获取对象的第1个域的值>>> b(a) 2 >&...
2018-07-22 13:37:12
257
原创 [346]python pow() 函数
描述pow() 方法返回 xy（x的y次方） 的值。语法以下是 math 模块 pow() 方法的语法:import mathmath.pow( x, y )内置的 pow() 方法pow(x, y[, z])函数是计算x的y次方，如果z在存在，则再对结果进行取模，其结果等效于pow(x,y) %z 注意：pow() 通过内置的方法直接调用，内置方法会...
2018-07-22 13:36:24
4984
原创 [345]python3构建决策树
1. 什么是决策树/判定树（decision tree)?判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。本次构建决策树的使用的算法是ID3算法，主要思想是利用不同特征值的信息熵来作为最优划分属性csv文件RID,age,income,student,credit_rat...
2018-07-22 13:35:38
1129
2
原创 [344]python根据文章标题内容自动生成摘要
text.pytitle = '智能金融起锚:文因、数库、通联瞄准的kensho革命'text = '''2015年9月13日,39岁的鲍捷乘上从硅谷至北京的飞机,开启了他心中的金融梦想。鲍捷,人工智能博士后,如今他是文因互联公司创始人兼CEO。和鲍捷一样,越来越多的硅谷以及华尔街的金融和科技人才已经踏上了归国创业征程。在硅谷和华尔街,已涌现出Alphasense、Kensh...
2018-07-19 17:31:13
9988
2
原创 [343]redis 键(key)
Redis 键命令用于管理 redis 的键。语法Redis 键命令的基本语法如下：redis 127.0.0.1:6379> COMMAND KEY_NAME实例redis 127.0.0.1:6379> SET runoobkey redisOKredis 127.0.0.1:6379> DEL runoobkey(integer) ...
2018-07-19 17:30:38
187
原创 [342]python collections函数
Counter类介绍一个Counter是dict子类，用于计数可哈希的对象。这是一个无序的容器，元素被作为字典的key存储，它们的计数作为字典的value存储。Counts允许是任何证书，包括0和负数。Counter和其它语言中的bags或者multisets类似。Counter中的元素来源如下：>>> c = Counter() ...
2018-07-19 17:30:08
1018
原创 [341]linux如何显示一个文件的某几行(中间几行)
1、从第3000行开始，显示1000行。即显示3000~3999行cat filename | tail -n +3000 | head -n 10002、显示1000行到3000行cat filename| head -n 3000 | tail -n +1000注意两种方法的顺序分解：tail -n 1000：显示最后1000行tail -n +1000：从...
2018-07-19 17:29:37
1274
原创 [339]python模块之codecs
当python要做编码转换的时候，会借助于内部的编码，转换过程是这样的： 原有编码 -> 内部编码 -> 目的编码 python的内部是使用unicode来处理的，但是unicode的使用需要考虑的是它的编码格式有两种，一是UCS-2，它一共有65536个码 位，另一种是UCS-4，它有2147483648g个码位。对于这两种格式，python都是支持的，这...
2018-07-14 16:22:57
3967
原创 [338]Mysql错误: ERROR 1205: Lock wait timeout exceeded解决办法
解决办法：执行mysql命令: show full processlist;然后找出查询语句的系统id：kill掉被锁住的线程id 查看事物表: select * from information_schema.innodb_trx;参考文章：http://my.oschina.net/quanzhong/blog/222091 http://blog.si...
2018-07-14 15:29:32
956
原创 [337]pika.exceptions.ConnectionClosed问题
最近一个处理程序又遇到 pika.exceptions.ConnectionClosed 这个问题，查阅资料，https://stackoverflow.com/questions/37321089/rabbitmq-pika-exceptions-connectionclosed/37528066这里面给说是因为主进程长时间等待，rabbitmq没有得到响应，就关闭了这个链...
2018-07-14 15:29:19
10955
1
原创 [336]mongodb更新删除内嵌list字段值
# mongo建立连接 if replicaset_mongo: self.client = MongoClient([host1_mongo, host2_mongo], replicaSet=replicaset_mongo, port=int(port_mongo)) self.client.admin.auth...
2018-07-14 15:28:42
9917
1
原创 [335]redis删除list中指定index的值
Redis的List删除命令：lrem : lrem mylist 0 "value" //从mylist中删除全部等值value的元素 0为全部，负值为从尾部开始。ltrim: ltrim mylist 1 -1 //保留mylist中 1到末尾的值，即删除第一个值。lpop: lpop mylist //删除最上面的一个值rpop: rpop mylis...
2018-07-14 15:28:28
16941
2
原创 [334]pip安装包error: Microsoft Visual C++ 14.0 is required问题
解决pip install jpype1 失败问题安装包地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype 下载所需的jpype1 模块的whl文件，下载后进入存储该文件的路径，按照方法一，执行“pip install jpype1-0.6.2-cp36-cp36m-win_amd64.whl”，这样就会安装成功...
2018-07-14 15:28:15
2681
原创 [333]python自动发邮件总结及实例说明
python发邮件需要掌握两个模块的用法，smtplib和email，这俩模块是python自带的，只需import即可使用。smtplib模块主要负责发送邮件，email模块主要负责构造邮件。smtplib模块主要负责发送邮件：是一个发送邮件的动作，连接邮箱服务器，登录邮箱，发送邮件（有发件人，收信人，邮件内容）。email模块主要负责构造邮件：指的是邮箱页面显示的一些构造，如发件人，收...
2018-07-14 15:28:03
7211
原创 [332]sql快速创建一张相同表结构的表
根据t_bond_basic_info表,创建表结构相同的表，取老表中的一部分字段t_bond_basic_info_new 后面的条件 where id>146000 创建的时候把id>146000的数据写到新表中，如果where 1<>1,只创建表结构，不把数据写进去CREATE TABLE t_bond_basic_info_new select id,...
2018-07-14 15:27:46
12533
原创 [331]python之requests的基本使用
Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。
2018-07-14 15:27:34
86469
12
原创 [330]Postman的Post请求方式的四种类型的数据
1. form-data就是http请求中的multipart/form-data,它会将表单的数据处理为一条消息，以标签为单元，用分隔符分开。既可以上传键值对，也可以上传文件。当上传的字段是文件时，会有content-type来说明文件类型；content-disposition用来说明字段的一些信息；由于有boundary隔离，所以multipart/form-data既可以上传文...
2018-07-14 15:27:21
30081
原创 [329]python的json不能序列化datetime类型数据问题
Python自带的json.dumps方法序列化数据时候如果格式化的数据中有datetime类型数据时候会提示错误 TypeError: datetime.datetime(2012, 12, 12, 15, 47, 15) is not JSON serializableimport datetimeimport jsondef datetime_handler(x):...
2018-07-13 08:49:35
2697
2
转载 [328]python操作Zip文件
需要使用到zipfile模块读取Zip文件随便一个zip文件，我这里用了bb.zip，就是一个文件夹bb，里面有个文件aa.txt。import zipfile# 默认模式r,读azip = zipfile.ZipFile('bb.zip') # ['bb/', 'bb/aa.txt']# 返回所有文件夹和文件print(azip.namelist())# # 返...
2018-07-13 08:49:19
704
原创 [327]python2和3中不同库和函数的区别(urllib库|filter)
前言在Python中，我们通常使用urllib中的urlencode方法将字典编码，用于提交数据给url等操作，但是在Python2和Python3中urllib模块中所提供的urlencode的包位置有些不同。对于Python2Python2中提供了urllib和urllib2两个模块。urlencode方法所在位置为：urllib.urlencode(value...
2018-07-13 08:49:01
354
原创 [326]python线程池（threadpool）
一、安装与简介 pip install threadpool import threadpool #poolsize为线程池的数量pool = threadpool .ThreadPool(poolsize) requests = threadpool.makeRequests(some_callable, list_of_args, callback) [...
2018-07-13 08:48:47
981
原创 [325]pycharm中执行python报错：ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝无法连接
服务端# -*- coding:utf-8 -*-import socket # 导入 socket 模块s = socket.socket() # 创建 socket 对象host = socket.gethostname() # 获取本地主机名print('当前主机名称为: ' +host)port = 42683 ...
2018-07-13 08:48:34
30410
原创 [324]python搭建FTP服务器之FTP上传和下载
搭建ftp服务器server端# -*- coding:utf-8 -*-from pyftpdlib.authorizers import DummyAuthorizerfrom pyftpdlib.handlers import FTPHandlerfrom pyftpdlib.servers import FTPServer# 实例化DummyAuthorizer来创建...
2018-07-13 08:48:13
3540
原创 [323]python基础语法
a=[1,2,3] b=’,’.join(a) print(b) #’1,2,3’可以使用 pop、slices、del、remove 等移除列表中元素：myList = [10,20,30,40,50]# 弹出第二个元素myList.pop(1)# 20# 如果不加任何参数，则默认弹出最后一个元素myList.pop()# 使用 切片来删除某个...
2018-07-13 08:48:00
221
原创 [322]MongoDB库表备份(mongodump)与恢复(mongorestore)
find / -name mongo先找到mongo的安装位置，cd /usr/local/mongodb/bin到这里MongoDB数据备份在Mongodb中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。mongodump命令可以通过参数指定导出的数据量级转存的服务器。语法mongodump命令脚本语法如下：&...
2018-07-13 08:47:47
1728
原创 [320]python实现各种文件类型转换（word、pptx、pdf、excel、csv、图片）
以上展示了如何通过Python代码将PDF文件转换为Word文档，包括转换为DOC格式和DOCX格式，以及在转换时设置结果文档的文档属性。Spire.PDF for Python还支持转换PDF文件为其他诸多格式，包括网页文件（HTML）、SVG、JPEG和PNG图片、Tiff、RTF等格式，请前往。
2018-07-13 08:47:22
4076
1
原创 [319]使用python将markdown和html互转
Python-Markdown是一个用于解析和转换Markdown文档的Python库。它可以将Markdown文本转换为HTML或其他格式，并提供了一些方便的工具和扩展来扩展Markdown的功能。Python-Markdown的目标是提供一种灵活而易于使用的方式来处理和生成Markdown文档，可以专注于内容而不必担心文档的样式和排版。Python-Markdown支持自定义扩展，可以根据需求添加额外的Markdown标记和功能。# 自定义扩展类# Markdown文本。
2018-07-12 09:06:34
5126
1
原创 [318]pandoc用法及markdown转换word、pdf、html
一试，发现这种方式很靠谱，主要是因为：一是md转为docx很简单，只需pandoc的一条命令就搞定，不需要额外装其他的软件；pandoc是一个软件，是一个能把千奇百怪的文档格式互相转换的神器，是一把文档转换的瑞士军刀（swiss-army knife）。请注意，pypandoc仍然需要你的系统上安装了Pandoc，并且它的可执行文件在系统的PATH环境变量中，这样Python才能找到并运行它。，如果正常显示出类似下面的信息就表明安装成功，如果未成功，可能需要配置环境变量，把安装的路径。
2018-07-12 09:05:51
15407
1
转载 [317]python3爬虫之爬取网易新闻APP端
（一）使用工具这里使用了火狐浏览器的user-agent插件，不懂的可以点这里火狐插件使用（二）爬虫操作步骤：百度 网易新闻并选择步骤一：步骤二：步骤三：步骤四：最后一步：注意点： （1）网易新闻类型，一共是下面的几种：{"BBM54PGAwangning","BCR1UC1Qwangning","BD29LPUBw...
2018-07-12 09:04:18
1330
原创 [316]python爬虫工具：user agent switcher
相比于在浏览器中右键检查，再将浏览器设置成手机端 如下图： user agent switcher给我们带来更多的是方便，一次设置好，就不怕每次麻烦的右键检查，设置成手机端的重复性操作了，这对于python爬虫算是一个比较技巧的地方。安装使用在火狐的附加组件中输入：user agent switcher如果找不到入口的话，在火狐浏览器中打开：https://addons...
2018-07-12 09:03:24
734
原创 [315]python操作字典总结
Python 中的字典是Python中一个键值映射的数据结构,下面介绍一下如何优雅的操作字典.1.1 创建字典Python有两种方法可以创建字典,第一种是使用花括号,另一种是使用内建 函数dict>>> info = {}>>> info = dict()1.2 初始化字典Python可以在创建字典的时候初始化字典>...
2018-07-12 09:02:15
440
原创 [314]谷歌翻译
pip install requests#安装googletrans，需要安装requests依赖pip install googletrans#-*- coding:utf-8 -*-from googletrans import Translator'''ZH, // 中文 "zh-CN"EN, // 英语 "en"JP, //...
2018-07-12 09:01:40
5214
4
原创 [312]python提取pdf文本内容
安装：pip install pdfminer解析pdf文件用到的类： PDFParser：从一个文件中获取数据 PDFDocument：保存获取的数据，和PDFParser是相互关联的 PDFPageInterpreter处理页面内容 PDFDevice将其翻译成你需要的格式 PDFResourceManager用于存储共享资源，如字体或图像...
2018-07-12 08:59:56
58275
21
原创 [311]mysql函数substring_index的用法
mysql中一个很好用的截取字符串的函数：substring_index。用法规则： substring_index（“待截取有用部分的字符串”，“截取数据依据的字符”，截取字符的位置N）具体例子：首先假定需要截取的字符串为“192,168,8,203”（虽然这里指的不是iP，可以看作是ip结构来处理吧），这里截取的依据是逗号：“,” ，具体要截取第N个逗号前部分的字...
2018-07-12 08:59:05
17774
1
原创 [310]MongoDB数据插入、删除、更新、批量更新某个字段
批量更新某个字段例1：db.getCollection('bond_sentiment_news').find({"source" : 2,"siteUrl" : "http://www.21jingji.com/"}).forEach( function(item){ db.getCollection('bond_sentiment..
2018-07-12 08:57:43
120934
1
原创 [309]python生成表情包
素材准备这里我们以网络上流传最广的金馆长表情为中心，以萌萌哒的熊猫头作为背景，底下加上文字就能构成一张表情包。然后用PS处理一下图片大小，模板大小设为250*250，表情裁剪一下白边。图片叠加第一步工作是把表情叠加到模板上，注意到我们的表情素材是白底而不是透明，所以位置要控制好，不然会遮盖住轮廓。from PIL import Image, ImageDra...
2018-07-11 08:54:48
3337
原创 [308]mongo使用工具复制数据库和表
在同一个主机上从一个db的表复制到另一个db的表db.collection_name.find().forEach(function(d){ db.getSiblingDB('new_database')['collection_name'].insert(d);})collection_name是数据库表名 new_database是目的数据库克隆本地collection，...
2018-07-11 08:54:35
7129
原创 [307]python文本相似度计算
步骤 分词、去停用词 词袋模型向量化文本 TF-IDF模型向量化文本 LSI模型向量化文本 计算相似度理论知识两篇中文文本，如何计算相似度？相似度是数学上的概念，自然语言肯定无法完成，所有要把文本转化为向量。两个向量计算相似度就很简单了，欧式距离、余弦相似度等等各种方法，只需要中学水平的数学知识。那么如何将文本表示成向量呢？词袋模型最简...
2018-07-11 08:54:17
8959
原创 [306]python操作excel表格(xlrd/xlwt)
python操作excel主要用到xlrd和xlwt这两个库，即xlrd是读excel，xlwt是写excel的库。可从这里下载https://pypi.python.org/pypi。下面分别记录python读和写excel.python读excel——xlrd这个过程有几个比较麻烦的问题，比如读取日期、读合并单元格内容。下面先看看基本的操作：首先读一个excel文件，有两个shee...
2018-07-11 08:54:01
1324
python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错
2018-09-10
python如何给字典的value设置默认值
2022-11-02
python内置函数，lower()、upper()实现的原理是什么
2022-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人