Python
茁壮小草
这个作者很懒,什么都没留下…
展开
-
批量删除repos库
这里写自定义目录标题生成删除权限的toekn参考github开发文档以前,装作很好学的样子,fork了不少别的代码,然鹅一个都没有认真学习下,就放哪儿了几年,实在无法忍受自己github库的杂乱,想着去整理下,当70多个库,一个个删除,预估得1个多小时。在网上查了下别的方法,也结合别人写的做了有一些尝试,现在将内容写成博客记录。(文后附参考链接)生成删除权限的toekn新建token打开https://github.com/settings/tokens页面,点击Generate new toke原创 2021-03-27 11:07:42 · 1208 阅读 · 2 评论 -
python 执行shell的常见方式
python中调用shell执行命令常用的执行shell方式常用的执行shell方式在工作中经常要采用shell方式来调度脚本,定时执行任务。比如,使用python+sql来调度脚本。下面来介绍一些常见的方式,以供使用。1、os.system2、os.spawn3、command使用command,只能在python2中使用,python3中已经弃用。4、subprocess待完善...原创 2019-12-04 14:52:41 · 233 阅读 · 0 评论 -
python | 统计频次
自定义函数计算每个类型出现的次数统计词频方案一方案二案例思路来源统计词频方案一def get_counts(sequence): counts = {} for x in sequence: if x in counts: counts[x] += 1 else: counts[x] = 1原创 2017-10-09 15:37:20 · 11731 阅读 · 0 评论 -
Python编程快速上手 让繁琐工作自动化 | 第三章 :实践项目
本题来自1、Collatz 序列 编写一个名为 collatz()的函数,它有一个名为 number 的参数。如果参数是偶数,那么 collatz()就打印出 number // 2,并返回该值。如果 number 是奇数,collatz()就打印并返回 3 * number + 1。然后编写一个程序,让用户输入一个整数,并不断对这个数调用 collatz(),直到函数返回值1(令人惊奇的是,原创 2017-08-30 11:04:36 · 1859 阅读 · 1 评论 -
python | 给DataFrame增加index行名和columns列名
在工作中遇到需要对DataFrame加上列名和行名,不然会报错开始的数据是这样的 需要的格式是这样的: 其实,需要做的就是添加行名和列名,下面开始操作下。# a是DataFrame格式的数据集a.index.name = 'date'a.columns.name = 'code'这样就可以修改过来。原创 2017-08-03 10:27:55 · 100814 阅读 · 1 评论 -
python | 读文件 | csv 、json、pickle、sql等
本次总结来源于pandas的官网,由个人学习总结出来。来说下pandas用于读取的文件格式有那些吧,这些读取方法获取文件的速度超级快,很实用。 1、pd.read_csv() 、df.to_csv()读csv和存储为csv格式的文件,这是日常工作和学习中很常见的。不过,它需要设置的参数很多,需要注意下。 2、pd.read_json()、df.to_json()读取、存储json格式的原创 2017-08-02 20:46:45 · 3243 阅读 · 0 评论 -
python | pandas | 移动窗口函数rolling
超级好用的移动窗口函数最近经常使用移动窗口函数,觉得很方便,功能强大,代码简单,故将pandas中的移动窗口函数都做介绍。它都是以rolling打头的函数,后接具体的函数,来显示该移动窗口函数的功能。rolling_count 计算各个窗口中非NA观测值的数量函数pandas.rolling_count(arg, window, freq=None, center=False, how=None原创 2017-08-08 20:50:03 · 104625 阅读 · 7 评论 -
笔试题 | 数据挖掘岗位 | 数据结构、数据处理
本次的内容来源于某次面试题目数据结构题目: Given an array of integers, find two numbers such that they add up to a specific target number.The function twoSum should return indices of the two numbers such that they add up原创 2017-07-22 23:18:17 · 590 阅读 · 0 评论 -
python | 读文件编码问题 | UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 34: illegal mu
python 读取文本文件,报出gbk问题问题如下:UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 34: illegal multibyte sequence其实,解决方案蛮简单,报错中提示了”gbk”编码问题,那么我们的编码会在哪些地方出问题呢?1、编码设置 第一行没有设置# _*_ coding:utf原创 2017-07-01 15:38:10 · 45248 阅读 · 3 评论 -
python | gtts 将文字转化为语音内容
在学习july的课程: 聊天机器人 ,介绍了一个python: gtts,可以将文字转化为语音,尝试后发现效果还可以。需要在VPN下使用。例子:from gtts import gTTSimport ostts = gTTS(text='您好,您吃早饭了吗?需要我给你推荐些吃的吗?', lang='zh-tw')tts.save("hello.mp3")os.system("mpg321 h原创 2017-04-16 16:12:17 · 7545 阅读 · 2 评论 -
python | 学习总结 urllib.request
在anaconda3下,用urllib.request包来获取数据例子:计算行数、列数__author__ = 'zhangx'import urllib.requestimport sys#读数据target_url = ("https://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectioni原创 2017-04-03 17:36:41 · 778 阅读 · 1 评论 -
python | isinstance 判断数据类型
判断数据类型函数:isinstance格式:isinstance(object, classinfo) 判读object是否为classinfo类型,classinfo可以为: tuple,dict,int,float,list例子来解释:判断整数a1 =323if isinstance(a1,int): print (True)else: print (False)判断原创 2017-04-03 13:12:21 · 2030 阅读 · 0 评论 -
python | 打开浏览器webbrowser
如何用python打开浏览器并播放视频或音乐呢?这里用python的内建函数webbrowser来打开链接,并播放。例子:import webbrowserimport time time.sleep(10)total_breaks = 3break_count = 0print("This program started on " + time.ctime())while(break_c原创 2017-04-11 19:55:34 · 3861 阅读 · 0 评论 -
Tensorflow | win10中安装tensorflow-0.12.1 (0.12.1以后的版本安装均适用)
本文首发在CSDN博客:http://blog.csdn.net/xxzhangx/article/details/54379255前几天,谷歌推出了windows对tensorflow的支持,我参考下面两篇博文来安装了我的tensorflow。为表示对远程作者的尊敬,先列出参考的文章。 - 参考文献 https://m.aliyun.com/yunqi/articles/68435 htt原创 2017-01-12 17:06:55 · 16810 阅读 · 12 评论 -
Tensorflow | 函数名字的更新
Tensorflow 更新到1.0后,一些函数发生了变化,也有些函数迁移到contrib中,在运行代码时易报错。这次仅仅说几个我遇到的名称变化的函数:tf.sub ——> tf.subtracttf.mul ——> tf.multiply后续遇到再更新列表原创 2017-02-27 10:45:32 · 4194 阅读 · 0 评论 -
python | 工作笔记 | pandas 常用总结
之前使用pandas处理数据使用的少,最近在实习中经常用到,故自以为把心得总结一番。说明:有部分是网上查到的案例,觉得很实用,就把它搬过来了。DataFrame的列名concat拼接merge 两个dataframe拼接计算nan的个数排序删除重复记录使用pandas画图中文显示问题双坐标轴的图enumerate函数时间处理时间转换为周几周月画图一个框中框中画多个图多个子原创 2017-09-26 14:48:48 · 849 阅读 · 0 评论 -
LeetCode | 两数之和
基础不好,笔试代码题没做好,校招没offer,赶紧来刷题两数之和列表字典比较计算时间两数之和这里采用两种方法来做,比较性能。列表nums = [i for i in range(1,100000000)]target = 3class Solution(object): def twoSum(self,nums,target): if len(nums) <= 1原创 2017-10-07 11:36:27 · 387 阅读 · 0 评论 -
LeetCode | 两数之和除以10
计算两个数的和,再除以10,将上一次的上和下两个数加起来,再除以10,连续进行下去。如: (2 -> 4 -> 3) (5 -> 6 -> 4) 输出为: 7 -> 0 -> 8解析: (2+5)/10 余数为7,商为0 (4+6+0)/10 余数为0,商为1 (3+4+1)/10 余数为8,商为0 故:7->0->8代码class ListNode(object):原创 2017-10-07 14:54:30 · 323 阅读 · 0 评论 -
总结sanic博客
使用sanic-openapi博客计划1、阅读sanic的源码和案例,已经做注解https://github.com/huge-success/sanic2、使用sanic-openapi优化api界面https://github.com/huge-success/sanic-openapi将内容发布到github上...原创 2019-09-15 01:08:09 · 370 阅读 · 0 评论 -
python | subprocess调度shell命令
subprocess调度shell命令内容:1、介绍subprocess包的使用;2、举几个例子原创 2019-01-26 10:42:26 · 508 阅读 · 0 评论 -
nohub后台挂起任务
基本命令nohup command &例子nohup python data.py > myout.file 2>&1 &> 重定向myout.file 日志存放位置2>&1 将标准出错重定向到标准输出,这里是指标准输出已经重定向到myout.file文件& 让该命令在后台执行运行后查看进程jobs -l...原创 2019-01-18 22:06:00 · 880 阅读 · 0 评论 -
python | argparse传递参数
通过命令行的形式来传递参数,使得配置参数容易起来。这里介绍python包argparse第一步:定义函数import osimport pandas as pdimport argparsedef get_onefile_result(filename, threshold): dftmp = pd.read_csv(filename) df = dftmp.ilo...原创 2018-12-28 14:23:07 · 9246 阅读 · 0 评论 -
python | configparser配置文件
python | configparser配置文件通过配置文件来管理不怎么经常改变的参数,同时保证下次修改又能很快捷,就可以使用ini的配置来管理。欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进...原创 2018-12-28 13:16:59 · 545 阅读 · 0 评论 -
numpy中常用的函数总结
不定期更新,多积累where位置函数,原创 2018-07-18 15:18:07 · 549 阅读 · 0 评论 -
python | os包常用命令介绍
os包的常用命令介绍,熟练的使用它能快速解决常用遇到的问题。本博文有参考:https://www.cnblogs.com/yigehundan/p/6379586.html先写自己遇到的用法。改变工作目录import osos.chdir("") 返回当前工作目录import osos.getcwd()目录拼接os.path.join("datasets"原创 2018-01-28 15:27:16 · 5549 阅读 · 0 评论 -
python | pandas 改变列的位置、填充缺失值
本期的文章源于工作中,需要固定label的位置,便于在spark模型中添加或删除特征,而不影响模型的框架或代码。spark的jupyter下使用sql这是我的工作环境的下情况,对你读者的情况,需要具体分析。sql = '''select *from tables_names -- hdfs下的表名where 条件判断'''Data = DB.i原创 2018-01-28 14:50:52 · 5050 阅读 · 1 评论 -
tensorflow | 维度转换
学习维度转换shape 计算维度tf.shape(input,name = None)案例1a = tf.constant([i for i in range(20)],shape =[2,2,5])with tf.Session() as sess: print (sess.run(tf.shape(a)))结果:[2 2 5]size 计算元素个数原创 2017-12-20 15:42:28 · 7697 阅读 · 0 评论 -
tensorflow | 随机数
使用tensorflow自带的随机种子函数来产生的随机数还是随机的,一脸尴尬。先介绍随机种子的使用。再来介绍随机函数。随机种子案例一:结果不一样import tensorflow as tfb = tf.random_normal([1],seed = tf.set_random_seed(1234))with tf.Session() as sees1: print (sees1.r原创 2017-12-19 21:13:59 · 4919 阅读 · 0 评论 -
tensorflow | 重新学习 | 了解graph 和 Session
源于工作需要,重新学习tensorflow,好久未使用,忘记的差不多了。tensorflow的基础框架tensorflow中是由Graph和Session组成,Graph负责将计算架构搭建起来,Session则负责将数据输入、执行模型、产出结果。分工明确,严格分割开来。其中,Graph和Session过程也可以细分为一下几个部分:1、数据准备这部分是最起始的部分,将数据集从磁盘读取2、定义plac原创 2017-12-19 17:21:45 · 1552 阅读 · 0 评论 -
在windows下使用jupyter notebook
在查询ipynb文件时发现了在windows下使用ipython的方法,这次就来做下介绍。1,首先,安装Anaconda,网址为:https://www.continuum.io/downloads/,下载与你电脑版本对应的,安装好。2,在电脑左下角的开始处搜索:jupyter notebook,并点击它打开,会出现一个黑色的弹窗, 很快在浏览器中自动打开一个界面, 3,使用ipython功能原创 2016-12-12 11:35:33 · 17424 阅读 · 0 评论 -
Xgboost | 在Win10中安装
基于对xgboost的学习,R语言版本很好安装,可是python安装版非普通安装方法,根据网上教程,一步步的做下来,终于成功了,故博文记录下来,以供自己或他人查询。注意 : 我的电脑是64位的,32位的安装方法是否雷同,请小心尝试需要的软件:gitmingw64anaconda(做计算常用的python集合软件)第一步 : 安装git https://git-scm.com/downlo原创 2017-02-07 12:38:18 · 4258 阅读 · 5 评论 -
hadoop | spark | hadoop的搭建和spark 的搭建
为了学习hadoop和spark,开始了搭建这两的心酸路。下面来介绍下我是如何搭建的,大家可以模仿下,若是有遇到问题,请留言哟。之前搭建成功过,后来冒出问题,一直没解决掉。这次算是搞定了。hadoop 搭建版本hadoop-2.7.1.tar.gz,去官网下载就可以。解压到ubuntu下hadoop用户的目录下。第一步、配置java环境 去http://www.oracle原创 2017-03-04 17:16:12 · 1236 阅读 · 1 评论 -
Tensorflow | Random |常用函数介绍
根据官网的帮助文档,介绍Random类型的函数,方便自己学习和查看。若是有幸帮到别的朋友,深感荣幸。rf.random_normal产生正态随机分布格式:tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=None,name=None)shape定义维度,mean定义均值,stddev定义方差,dtype定义类型,see原创 2017-03-05 17:46:52 · 3426 阅读 · 0 评论 -
python | pandas 读csv数据报错: 0x8b 解决方案
用pandas 读取csv数据报错了,报错内容如下:读取的代码:import pandas as pd#载入数据:train = pd.read_csv('Train.csv')主要错误是:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x8b in position 2: invalid start byte全部显示信息pandas\p原创 2017-02-06 23:11:10 · 11158 阅读 · 6 评论 -
Kaggle课程 | lecture 1 机器学习算法、工具与流程概述
在july的网站购买了kaggle课程,自己学习并作笔记记录,非给july打广告,只是为了不忘记或自己学习查询。在这里感谢july提供的该课程。下面开始笔记。主要内容 应用领域 常用算法 算法之间的联系 工具 常用scikit-learn ,文本分析用gensim,数据处理用Numpy、matplotlib、pandas,深度学习有tensorflow、caffe、keras解决问题的流程 图原创 2017-02-06 22:14:06 · 1083 阅读 · 1 评论 -
重叠区间的个数
题目:给定多个可能的重叠的区间,找出重叠区间的个数。伪代码:区间的定义如下:class Interval{ int start; //起点 int end; //止点 Interval (int a,int b){ start =a; end = b; }}首先,要定义区间的类,实现Comparable接口,含有起点与止点的值和类型,还要重写用于排序的compa原创 2016-12-09 22:11:20 · 3075 阅读 · 0 评论 -
最大下标距离
题目 : 给定一个整型数组,找出最大的下标距离j−1j-1,当且仅当A[i]<A[j]A[i]<A[j]和i<ji<j。伪代码int maxIndexDistance(int A[]){ if (A==null || A.length<2) return 0; boolean inDescSeq[] = new boolean[A.length]; int min = A[0],n=A原创 2016-12-07 14:47:15 · 760 阅读 · 1 评论 -
Linux : E: Unable to locate package XXX
在使用Linux下载packages时报错:-----好多不认识的------------E: Unable to locate package scipy遇到这种问题,通常是由于镜像源没有更新下。 更新命令如下:sudo apt-get update然后稍等下,等更新完再去使用。 ok 了,可以使用了。原创 2016-11-23 21:15:47 · 7662 阅读 · 0 评论 -
两数之和 (一)
题目: 给定一个整型数组,是否能找出其中的两个数使其和为某个指定的值?伪代码:boolean hasSum(int[] A, int target){ boolean res = false; if(A ==null || A.length<2) return res; Arrays.sort(A); int i =0,j=A.length-1; wh原创 2016-12-01 12:55:36 · 1487 阅读 · 0 评论 -
两数之和(三)
题目:设计一个类,包含如下两个成员函数: Save(int input) 插入一个整数到一个整数集合里。 Test(int target) 检验是否存在两个数和为输入值。如果存在这两个数,则返回true;否则返回false。注意:允许有相同的元素。伪代码:这里写代码片R语言:two_numbers_3<-function(a){ s= unique(a) for原创 2016-12-02 12:48:14 · 560 阅读 · 0 评论