python
文章平均质量分 55
August1226
现在是一枚策略分析师,每天的工作就是看看数据、琢磨琢磨能挖出什么东西,还是菜鸟,嗷嗷待哺~
展开
-
python-关于None,NaN , 空字符的比较与处理(1)
【问题描述】在python中经常会遇到这三个特殊值情况。尤其是导入数据文件时,就会遇到这种问题(如csv文件、数据库数据等),这些类型的数据在函数中使用需要十分小心。下面对该类型数据进行分析。【类型分析】from numpy import NaNfrom pandas import Series, DataFrameimport numpy as npimport pandas as pdt...原创 2018-06-11 15:47:34 · 26322 阅读 · 1 评论 -
(转)机器学习 -- 一篇超级棒的介绍随机森林的文章,写的太好了,读起来简直清爽!!!
发现一篇超级棒的介绍随机森林的文章,写的太好了,读起来简直清爽!!!就是这篇!!!!!!去读!!!!!!!![Machine Learning & Algorithm] 随机森林(Random Forest) 膜拜!!!!!!...转载 2018-06-19 18:52:38 · 2923 阅读 · 0 评论 -
python-关于None,NaN , 空字符的比较与处理(2):如何判断python中的NaN?
【问题描述】如何判断是不是NaN值?【问题分析】例如:a = NaNtype(a)print(a == nan)print(a is nan)从结果,会发现,用==无法判断NaN。实际上,即使第二种方法也不一定会得到正确的判断。【解决办法】如果想准确的判断NaN,那么就用math下的isnan函数吧:math.isnan(a)问题解决!(仅供个人学习,不符任何责任~~~~~~~~~~~~~~)...原创 2018-07-09 16:19:00 · 16848 阅读 · 1 评论 -
python -- 字符串的替换
【问题描述】python中的空值是用None来实现的,但是在实现java的指标上线时,无法解析我的字符串中的None字符,所以我需要将字符串中的None转化为null。即:字符串转化:"None" -> "null"【问题解决】两种方法:1.利用replace函数:string_old.replace(str_from,str_to)string_old就是你要更改的字符串,str_from...原创 2018-07-10 11:58:04 · 19383 阅读 · 1 评论 -
python -- 用merge函数在python中实现 join 操作
又发现了pandas包里面的一个好用的函数——merge函数!!!!!!!【描述】merge函数类似于mysql等数据库语言中的join函数,可以实现对两个DataFrame的条件合并。【准备】import pandas as pdimport numpy as np【语法】(1)当两个DataFrame的关联列名称相同时:merge(DataFrame_A,Da...原创 2018-07-03 18:19:35 · 7715 阅读 · 0 评论 -
python -- 倒序输出字符串
面试时被问到下面的倒序输出字符串的问题:将 "Python/R/Mysql/Hive" 转化为 "nohtyP/R/lqsyM/eviH"因为我只会python,所以,就以python的角度思考。我认为这个问题涉及以下3方面:1. 根据子指定的分隔符进行划分;2.对指定字符串进行逆序输出;3.分割后的子字符串用指定分隔符连接。下面是我的做法:str...原创 2018-07-19 15:45:50 · 5793 阅读 · 0 评论 -
python -- 有关字符串的函数总结
这篇文章总结的是有关字符串的函数 ,并且附代码示例,不断更新中原创 2018-07-19 18:19:08 · 1540 阅读 · 0 评论 -
python -- 批量解析dataframe中的json串并形成新的字段
最近遇到了类似这样的问题:批量解析数据库中某张表的某一列(json串形式存储),效果如下。图1 原始数据库中的数据 图2 处理后的数据形式为此,我编写了如下的python脚本def main(table_source,var_name): """ 【批量解析json串】 入参: table_source:含义:来自数据库的库名.表名...原创 2018-08-10 13:57:45 · 9936 阅读 · 10 评论 -
python -- 找出列表list中的重复元素
【问题描述】一个列表中可能含有重复元素,使用set()可以实现列表的去重处理,但是无法知道哪些元素是重复的,下面的函数用于找出哪些元素重复了,以及重复的次数。【问题解决】from collections import Counter #引入Countera = [29,36,57,12,79,43,23,56,28,11,14,15,16,37,24,35,17,24,33,1...原创 2018-08-28 11:18:02 · 52865 阅读 · 3 评论 -
机器学习 --决策树学习(超级完整!含python代码!)
***********写在前面*************************************************************************************************本文章所有内容都是我从其他前辈处摘录过来的,本人只是做了相应的整理,在文章中也标注了某一段的来源,文章结尾附了链接~~~~~~~~~~***********以下是正文*...原创 2018-06-19 14:00:18 · 7164 阅读 · 0 评论 -
python-检查是否为中文字符串
【目标需求】查看某一个字符串是否为中文字符串【解决办法】def check_contain_chinese(check_str): for ch in check_str: if u'\u4e00' <= ch <= u'\u9fff': return True else: ...原创 2018-06-08 18:00:37 · 6024 阅读 · 1 评论 -
(转)python -- python之pandas简单介绍及使用(一)
一、 Pandas简介Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。Pan...转载 2018-06-15 18:31:34 · 1189 阅读 · 0 评论 -
python-Key Error问题
【问题描述】当从数据库以标签形式大批量处理数据时,会因为不同的数据返回的标签数目不同而导致在使用标签来来索引数据时出现问题。(pandas转为数据框之后)例如数据:a = {"id":[1,2,3,4,5],"birthday":['2000-01-01','',None,'2000-01-19',NaN],"name":['王菲','莫文蔚',NaN,None,'林宥嘉'],"score":[1...原创 2018-06-11 17:35:57 · 37895 阅读 · 0 评论 -
python--解决【Setting With Copy Warning】问题
【问题描述】在向DataFrame中按照一定条件添加一列时,会出现【Setting With Copy Warning】报错的问题举例:先建立一个示例数据框:test_0 = {"id":[1,1,2,3,3,4,5,5],"price":[5,6,8,3,4,6,9,5],"amount":[1,1,2,1,1,1,2,1],"status":['sale','sale','no','no','...原创 2018-06-12 14:44:22 · 3033 阅读 · 0 评论 -
python -- 解决使用groupby函数之后索引上移问题
【问题描述】对于一个数据框,当我们对按每一个变量进行groupby之后再对另一个指标进行分组统计时,得到的的结果转成DataFrame之后会发现,统计的指标标签会上移。这回造成索引问题。例子:test_0 = {"id":[1,1,2,3,3,4,5,5],"price":[5,6,8,3,4,6,9,5],"amount":[1,1,2,1,1,1,2,1],"status":['sale','...原创 2018-06-12 16:47:42 · 4487 阅读 · 1 评论 -
python--从字典中提取子字典并转成DataFrame的方法
【问题描述】我想从已有字典中提取出几个键值对构成新的字典,然后为了方便查看,再转成DataFrame格式。【问题解决】test_0 = {"id":[1,1,2,3,3,4,5,5],"price":[5,6,8,3,4,6,9,5],"amount":[1,1,2,1,1,1,2,1],"status":['sale','sale','no','no','sale','no','sale','n...原创 2018-06-13 11:40:55 · 8980 阅读 · 0 评论 -
python -- 解决If using all scalar values, you must pass an index问题
【问题描述】在将dict转为DataFrame时会报错:If using all scalar values, you must pass an index例如:summary = pd.DataFrame({key:value for key,value in test.items()if key in index}) #查看汇总表情况【解决办法】添加参数:index = [0]summary ...原创 2018-06-13 12:08:05 · 20706 阅读 · 0 评论 -
python--创建一个与已有DataFrame行数相同的数据框的方式
【问题描述】已有数据框A,然后想创建一个数据框B,使得数据框B的数据行数与A相同例子:A = {"id":[1,1,2,3,3,4,5,5],"price":[5,6,8,3,4,6,9,5],"amount":[1,1,2,1,1,1,2,1],"status":['sale','sale','no','no','sale','no','sale','no']} A = pd.DataFram...原创 2018-06-13 15:27:18 · 3964 阅读 · 0 评论 -
python -- 解决字典【KEY ERROR】
【问题描述】通过KEY来获取对应的值时,如果KEY不在字典中,就会报错KeyError,引起程序运行终止。例子:test_0 = {"id":[1,1,2,3,3,4,5,5],"price":[5,6,8,3,4,6,9,5],"amount":[1,1,2,1,1,1,2,1],"status":['sale','sale','no','no','sale','no','sale','no']...原创 2018-06-13 16:30:17 · 11060 阅读 · 0 评论 -
python -- Jupyter Notebook 添加目录索引、更换主题、解决工具栏隐藏问题
目录 一、添加目录索引二、更换主题三、 解决更改主题后工具栏ToolBar隐藏问题一、添加目录索引步骤一:安装扩展包 jupyter_contrib_nbextensionspip install jupyter_contrib_nbextensions 步骤二:配置 nbextensionsjupyter contrib nbextension insta...原创 2018-06-21 17:15:55 · 15265 阅读 · 10 评论 -
python-时间戳转换相差8小时问题
【问题描述】在将时间戳timestamp转化为固定时间格式的时候,会相差8小时例子:create_time_temp = get_col_name(my_dict,'create_time') #自写的取变量数值的函数,得到的是个时间戳dateArray = dt.datetime.utcfromtimestamp(create_time_temp/1000)create_time = dat...原创 2018-06-08 11:34:01 · 16725 阅读 · 0 评论 -
(转)python--Pandas 的 apply 函数使用示例
看到一篇写apply函数的,感觉很好,转载到这边~------------------正文分割线-----------------------------------------------------------------------------------------------------apply 是 pandas 库的一个很重要的函数,多和 groupby 函数一起用,也可以直接用于 ...转载 2018-06-15 16:40:57 · 3691 阅读 · 0 评论 -
python -- Jupyter Notebook 扩展插件nbextensions几个功能的介绍
这里面介绍jupyter拓展插件nbextensions里的几个功能的介绍nbextensions插件的安装见我之前的文章:链接安装完重启jupyter,在主界面选择上图中就是可以点选添加的功能,选几个自己用的做一下介绍(实际上自己点击,页面下方就会有对这个功能的介绍和预览,所以只以最简单的方式介绍)Table of Contents(2)功能:形成目录栏Toolbar按...原创 2019-01-17 17:21:19 · 14974 阅读 · 0 评论