python基础
WBerica
这个作者很懒,什么都没留下…
展开
-
DataWhale之数据分析练习3:论文代码统计
环境和依赖包导入import re # 用于正则表达式,匹配字符串的模式import json # 读取数据,我们的数据为json格式的import pandas as pd # 数据处理,数据分析import matplotlib.pyplot as plt # 画图工具读取数据源,读取100w行数据,全部读取运行时间较长data = [] # 初始化#使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常with open("arxiv-metada原创 2021-01-18 19:03:09 · 298 阅读 · 0 评论 -
pymongo.errors.CursorNotFound: cursor id 1058082xxxxxxxx not found mongo索引超时
一,超时原因数据量太大,mongo 的性能处理不过来数据在处理过程中太耗时二,解决方案为find() 函数设置 no_cursor_timeout = True,表示游标连接不会主动关闭(需要手动关闭)items = myset.find(no_cursor_timeout = True)for item in items: print(item) #处理数据items.close()如果使用了方法一之后还出现报错,可以继续为find()函数设置batch_size参原创 2020-07-08 10:50:29 · 2702 阅读 · 0 评论 -
如何把一个无序列表中把相同的数据形成一个新的列表
def test(list1): # 进行一个排序操作,把相同的元素排列到同样的位置 list1 = sorted(list1) result_list = [] x = [] for i in range(len(list1)): if i + 1 < len(list1): if list1[i] == list1[i + 1]: x.append(list1[i])原创 2020-05-29 14:23:37 · 388 阅读 · 0 评论 -
python 日志文件配置
自己搭建的日志文件,日常使用可以满足了import datetimeimport logging.handlersimport osimport loggingfrom logging.handlers import RotatingFileHandlerfrom init import log_dir# 验证日志文件夹是否存在,不存在创建一个新的文件夹def make_dir...原创 2019-09-26 16:06:21 · 356 阅读 · 1 评论 -
python scrapy 爬取包含iframe标签内的数据
如图所示: 所要提取的数据都在iframe标签里面的,直接用xpath提取iframe标签里的内容是提取不到的,看到图一有一个script 所有的数据都在这个js标签内的,展开script标签后会看到一堆js代码,一直往下找会发现一个bytes类型的数据,如图这个红色的源码就是你要的数据,但是他是一个bytes类型的,提取出来之后需要你转一下格式,这里推荐使用import urllib...原创 2019-05-25 11:50:01 · 7230 阅读 · 3 评论 -
python实现令牌桶
import multiprocessingimport timeimport redisfrom cfg import PROXY_REDIS_CFGfrom common import redis_poolproxy_redis_cfg = PROXY_REDIS_CFG['dev']redis_pool.init_redis(proxy_redis_cfg)TEST = ...原创 2019-05-25 14:14:49 · 1189 阅读 · 0 评论 -
解决requsts响应的response经过etree.HTML之后代码减少
使用方法 导入这个函数 def create_root_node():text传入response.test即可from lxml import etree, htmlclass SafeXMLParser(etree.XMLParser): def __init__(self, *args, **kwargs): kwargs.setdefault('reso...原创 2019-03-22 16:58:17 · 3625 阅读 · 5 评论 -
给定一个字符串s,你可以从中删除一些字符,使得剩下的串是一个回文串。如何删除才能使得回文串最长呢? 输出需要删除的字符个数。
根据python3.0import sysdef maxlcp(strs): if strs == None or len(strs) == 0: return 0 lens = len(strs) dp = [0] * lens dp[0] = 1 if strs[0] == strs[lens - 1] else 0 for i i...原创 2018-10-07 13:20:46 · 2763 阅读 · 0 评论 -
升级linux系统下的python版本 python3.52到python3.6
对系统Linux(Ubuntu)中的python3.5.2进行升级其实升级python3.6.3只需要三个指令。1. $sudo add-apt-repository ppa:jonathonf/python-3.62.$ sudo apt update3.$ sudo apt install python3.6可以使用python3.6进行调用pycharm中添加pycharm3...原创 2018-10-11 09:43:07 · 5129 阅读 · 0 评论 -
maximum recursion depth exceeded in comparison 报错解决方法
def recurse(n, s): if n == 0: print(s) else: recurse(n-1, s + n)recurse(-1, 0)Traceback (most recent call last): File "C:/Users/wb/Desktop/练习.py", line 136, in <modu...原创 2018-09-20 08:59:05 · 7813 阅读 · 0 评论