weixin_44285715的博客

原创 python字典常用技巧

Python字典及基本操作（超级详细）http://c.biancheng.net/view/2212.html目录一、将dataframe中的两列数据转换成字典dict二、字典 key 和 value反转三、dict用法一、将dataframe中的两列数据转换成字典dict方法一：df 为dataframe对象，包含'word', 'count'两列数据result_dic = df.groupby('word')['count'].apply(lambda x:str.

原创 文本数据增强

参考文章：文本数据增强https://www.jianshu.com/p/3996793324ca 文本数据增强https://www.zhihu.com/collection/540515296 英文原版：https://amitness.com/2020/05/data-augmentation-for-nlp/#8-generative-methods ICLR 2019 workshop 论文《EDA: Easy Data Augmentation Techniques for Bo...

原创 python list常用技巧

python同时遍历两个list用法前言需求是将两个list同时进行遍历，然后同步的将每个元素add到一个dict中，虽然有麻烦的方式，比如直接用list的数组下标可以实现，但是一点也不pythonic,于是想到了zip内置函数。记录下写法~正文废话不多说直接上代码： dict_1 = {} list_1 = ['a','b','c'] list_2 = ['1','2','3'] """ zip打包用法,同时遍历两个list """ for symbo

原创 牛客 刷题

1、Python计算编辑距离编辑距离是用来比较两个字符串之间相似度的度量方法，表示的是两个字符串间相互转换所需要的最少步骤。分析：当两个字符串都为空串，那么编辑距离为0； 当其中一个字符串为空串时，那么编辑距离为另一个非空字符串的长度； 当两个字符串均为非空时(长度分别为 i 和 j )，取以下三种情况最小值即可： 1、长度分别为 i-1 和 j 的字符串的编辑距离已知，那么加1即可； 2、长度分别为 i 和 j-1 的字符串的编辑距离已知，那么加1即可； 3、长度分别为 i-1 和

原创 pandas常用操作总结

# 查找某列数据具体数据df.loc[df['webname'] == '中国货币网']# df.loc[index, column_name],选取指定行和列的数据df.loc[0,'id'] # 'Snow'df.loc[0:2, ['id','title']] # 选取第0行到第2行，id和title列的数据, 注意这里的行选取是包含下标的。df.loc[[2,3],['id','title']] # 选取指定的第2行和第3行，id和title列的数据df.loc[df['webn.

原创 Docker（四）docker容器、镜像的基本操作

启动容器（创建一个新的容器并运行一个命令）：docker run IMAGE [COMMAND] [ARG...]IMAGE 启动的镜像 COMMAND 命令 ARG 参数docker run echo 'hello world'启动交互式容器：$ docker run -i -t IMAGE /bin/bash-i --interactive=ture|false 默认是fa...

原创 gensim学习之corpora.Dictionary

原创 Win10家庭版找不到gpedit.msc怎么解决？

问题：解决方法：1、打开记事本。2、然后在记事本中复制如下代码。@echo off　　pushd "%~dp0"　　dir /b %systemroot%\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >gp.txt　　dir /b %systemroot%\servicing\Packages\Microsoft-Windows.

原创 CUDA Linux下查看GPU相关信息命令

命令：lspci | grep -i nvidia输出：b:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB] (rev a1)af:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB] (rev a1)命令：nvidia-smi -L输出：GPU 0: Tesla P100-PCIE-16GB .

原创 华为机试题

# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, right=None):# self.val = val# self.left = left# self.right = rightclass Solution: def widthOfBinaryTree(self, root: TreeNo...

原创 前缀和变量+字典

525. 连续数组

原创 滑 动窗口

剑指 Offer 57 - II. 和为s的连续正数序列def findContinuousSequence(self, target: int) -> List[List[int]]: i = 1 # 滑动窗口的左边界 j = 1 # 滑动窗口的右边界 sum = 0 # 滑动窗口中数字的和 res = [] while i <= target // 2: if sum < target: # .

原创 RE:Working outside of application context

目录RuntimeError: Working outside of application context.解决方法1：可以选择人为入栈。解决方法2：可以使用with语句（不了解with语句用法的同学请见下文）。RuntimeError: Working outside of application context.from flask import Flask, current_appapp = Flask(__name__)a = current_appd = curr

原创 背包问题

背包问题的判定背包问题具备的特征：给定一个target，target可以是数字也可以是字符串，再给定一个数组nums，nums中装的可能是数字，也可能是字符串，问：能否使用nums中的元素做各种排列组合得到target。常见的背包问题有1、组合问题。组合问题公式dp[i] += dp[i-num]377. 组合总和 Ⅳclass Solution: def combinationSum4(self, nums: List[int], target: int) -&gt

原创 二叉树习题

前序遍历# Definition for a binary tree node.# class TreeNode(object):# def __init__(self, val=0, left=None, right=None):# self.val = val# self.left = left# self.right = rightclass Solution(object): def preorderTraversal

原创 排序

a

原创 链 表

面试题 02.03. 删除中间节点这题的核心思想其实就是把node的下一位的值覆盖给node，然后跳过node的下一位因为我们无法访问到head节点，所以除了直接从node开始往下找，其他都是不现实的即a->b->c->d->e->f 变为 a->b->d->d->e->f 然后把第一个d的next设为e，跳过第二个d# Definition for singly-linked list.class ListNode: d

原创 双指针

26. 删除有序数组中的重复项class Solution: def removeDuplicates(self, nums: List[int]) -> int: slow = 0 for fast in range(len(nums)): if slow < 1 or nums[fast] != nums[slow-1]: nums[slow] = nums[fast]

原创 二分

二分查找排序数组中的搜索问题，首先想到 二分法 解决。剑指 Offer 53 - II. 0～n-1中缺失的数字class Solution: def missingNumber(self, nums: List[int]) -> int: i, j = 0, len(nums) - 1 while i <= j: m = (i + j) // 2 if nums[m] == m: i = m

原创 排列/组合（内置函数方法）

获取可重复的排列组合笛卡尔积：itertools.product(*iterables[, repeat])import itertools# 0~10，放回抽样组成2个数组的所有可能，1/11*1/11=1/121b = []for i in itertools.product(['0','1','2','3','4','5','6','7','8','9','10'], repeat = 2): b.append(','.join(i),)len(b)121排列：ite.

原创 分治

对于一个规模为n的问题，若该问题可以容易地解决（比如说规模n较小）则直接解决，否则将其分解为k个规模较小的子问题，这些子问题互相独立且与原问题形式相同，递归地解这些子问题，然后将各子问题的解合并得到原问题的解。这种算法设计策略叫做分治法。 递归法就是把问题转化为规模缩小了的同类问题的子问题。然后递归调用函数(或过程)来表示问题的解。一个过程(或函数)直接或间接调用自己本身,这种过程(或函数)叫递归过程(或函数)。 简单的说：分治法就是把1个分为多个,递归法就是把多个归一的解决问题方法..

原创 递归/迭代

剑指 Offer 10- I. 斐波那契数列笨办法示例（超时）：class Solution: def fib(n: int) -> int: num = 0 if n==0: return 0 elif n == 1: return 1 else: num = num + Solution.fib(n-1) + Solution.fib(n-2

原创 回溯、DFS、BFS

backtrack的公式：result = []def backtrack(路径, 选择列表): if 满足结束条件: result.add(路径) return for 选择 in 选择列表: 做选择 backtrack(路径, 选择列表) 撤销选择46. 全排列class Solution: def permute(self, nums: List[int]) -> .

原创 time模块

import timefrom datetime import datetimet2 = time.localtime() # struct_timeprint(t2)time.struct_time(tm_year=2021, tm_mon=3, tm_mday=17, tm_hour=17, tm_min=0, tm_sec=3, tm_wday=2, tm_yday=76, tm_isdst=0)t2 = time.strftime("%Y-%m-%d %H:%M:%S",t2.

原创 动态 规划

70. 爬楼梯# 滚动数组p q r p q rp = qq = rclass Solution: def climbStairs(self, n: int) -> int: p = 0 q = 1 for i in range(n): r = p + q p = q q = r return ...

原创 栈 / 队列

150. 逆波兰表达式求值class Solution: def evalRPN(self, tokens: List[str]) -> int: op_to_binary_fn = { "+": add, "-": sub, "*": mul, "/": lambda x, y: int(x / y), # 需要注意 python 中负数除法的表现与题目不一致 .

原创 2021-03-LeetCode-简单

1. 两数之和class Solution(object): def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] """ result = [] for i in range(len(nums)): for j in rang

原创 2021-03-LeetCode-中等

12. 整数转罗马数字class Solution: def execute(dic, a, num, result): sub = 2999 for i in a: if num>i and (num-i)<=sub: sub = num - i temp = i zheng = num//temp yu = num%temp.

转载 数据集shuffle方法中buffer_size

是做随机采样使用的缓冲大小，buffer_size的值是相对于batch_size而言的tensorflow中的数据集类Dataset有一个shuffle方法，用来打乱数据集中数据顺序，训练时非常常用。其中shuffle方法有一个参数buffer_size，非常令人费解，文档的解释如下：buffer_size: A tf.int64 scalar tf.Tensor, representing the number of elements from this dataset from which .

原创 python获取文件行数，截取指定行数以后的内容

python islice()islice()获取迭代器的切片，消耗迭代器语法：islice(iterable, [start, ] stop [, step]):from itertools import islicea = [1, 2, 3, 4, 5, 6, 7, 8, 9]a_ite = iter(a)print(list(islice(a_ite,0,3)))print(list(islice(a_ite,0,3)))print(list(islice(a_ite,

原创 python 实现scp命令向服务器上传/下载文件

第一种：import paramiko # 用于调用scp命令from scp import SCPClient # 将指定目录的图片文件上传到服务器指定目录# remote_path远程服务器目录# file_path本地文件夹路径# img_name是file_path本地文件夹路径下面的文件名称def upload_img(img_name, remote_path="/var/www/html/public/thinkfont/competitor/data/font/o.

原创 shell脚本定时任务

一、准备工作：1、shell代码：1.1 使用vi编辑器 可以直接 # vim time.sh编写第一个shell文件 time.sh$ cat time.sh #! /bin/bashecho $(date +%s) >> /home/ocean/out.txt#!/bin/bash 表示要是/bin/bash这个执行脚本的命令执行接下来写的脚本，具体代码看各自需求。1.2 通过chmod命令赋予该脚本的执行权限chmod 777 time.sh，否则没有执行权限

原创 python 利用SFTP上传/下载文件

目录第一种：第二种：如遇报错：paramiko模块使用参考文章：第一种：import paramikoimport osdef sftp_upload(host, port, username, password, local, remote): sf = paramiko.Transport((host, port)) sf.connect(username=username, password=password) sftp = para...

转载 python-在已有数据的文件中的第一行插入指定数据

"""在csv文件中第一行添加索引字段"""def write_raw_index(file): filename = file with open(filename, 'r+', encoding='utf-8') as f: content = f.read() f.seek(0, 0) #mid, text, source, uid text = 'mid' + ',' + 'text' + ',' + 'source.

原创 shell常用操作

sed -i '1i\添加的内容' file #这是在第一行前添加字符串 sed -i '$i\添加的内容' file #这是在最后一行行前添加字符串 sed -i '$a\添加的内容' file #这是在最后一行行后添加字符串用sed命令在行首或行尾添加字符的命令有以下几种：假设处理的文本为test.file在每行的头添加字符，比如"HEAD"，命令如下：sed 's/^/HEAD&/g' test.file在每行的行尾添加字符，比如“TAIL”，命令如下：s.

原创 specified in either feed_devices or fetch_devices was not found in the Graph

Keras模型部署服务中遇到的问题及解决方法问题：问题描述：flask应用调用模型初次是没问题的，但第二次（或多次）请求会报错误Error - Tensor input_1:0, specified in either feed_devices or fetch_devices was not found in the Graph原因都是graph不一致造成的。也就是web应用初始化和调用不在一个线程，导致出现两个不同的graph。所以改善方法就是在初始化时保存graph，在模型预测时指定gra

原创 分类问题的评估（二分类&多分类）

一、准确率metrics.accuracy_score(y_true=y_true, y_pred=y_pred)二、平均准确率针对不平衡数据，对n个类，分别计算每个类别的准确率，然后求平均值。metrics.average_precision_score(y_true=y_true, y_score=y_pred)三、基于相似度的评价指标3.1 log-loss...

原创 flask实现定时执行任务（Flask-APScheduler）

APScheduler是基于Quartz的一个Python定时任务框架。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。在线文档：https://apscheduler.readthedocs.io/en/latest/userguide.html一、安装Flask-APSchedulerpip install Flask-APScheduler二、基本概念APScheduler有四大组件：1、触发器 triggers ：触发器包含调度逻辑。每个作业都有自

原创 Linux下API服务接口测试（命令行、脚本） 后台执行及日志保存

post接口测试脚本import requestsnew_url="http://10.31.143.2:8989/system/systemOrgan/list"params = {"access_token": "807ad226-cbcc-4620-9544-8f53e1d51405"}payload = { "organId":1, "pageNumber":1, "pageSize":10, "sortBy":"lastUpdateTime", "sort":"D

原创 docker load 镜像时提示no space left device

问题描述：将镜像文件（.tar.gz）上传到服务器上使用docker load < your_image_name.tar结果发现Error processing tar file(exit status 1): write /var/lib/apt/lists/mirrors.aliyun.com_ubuntu_dists_bionic-updates_Contents-amd64.lz4: no space left on device解决方案出现此问题一般是dock