Python
数据小白的进阶之路
数据小白的进阶之路。。。
展开
-
Python与 Hive & Spark & MYSQL连接方式汇总
一、python连接Hive1、需要知道集群的参数host :地址port: 端口号database:数据库user: 用户名auth_mechanism:依赖于hive-site.xml配置文件password:密码(可有可无)2、连接及使用:# -*- coding: utf-8 -*-import pandas as pdfrom impala import dbapiimport numpy as np#连接参数配置hive_connection =原创 2020-05-24 18:19:55 · 1606 阅读 · 0 评论 -
pandas之ix 、loc 和 iloc的区别
在Python中处理日常数据时,经常会需要索引某些行,现结合本人使用经验做一个小的总结,pandas中主要有以下函数: 1、 loc 2、iloc 3、ix首先来谈谈loc:其是通过行标签索引行数据import pandas as pddf = pd.DataFrame({'team_A': ['Spain', 'Germany', 'Brazil', 'France'], ...原创 2018-06-13 13:58:13 · 591 阅读 · 0 评论 -
pandas小技巧之--值替换
通常,我们在将数据集进入到模型进行训练时时,需要将数据框中的某些模型不支持的值进行替换,比如性别这种。今天就来讲讲在pandas中进行特定值替换。首先数据格式如下:df = pd.DataFrame({"id": [25,53,15,47,52,54,45,9], "sex": list('mfmfmfmf'), 'score': [1.2, 2.3, 3.4, 4.5,6.4...原创 2018-07-28 23:01:22 · 56136 阅读 · 0 评论 -
python中分组函数groupby和分组运算函数agg小结
今天来介绍pandas中一个很有用的函数groupby,其实和hive中的groupby的效果是一样的,区别在于两种语言的写法问题。groupby在Python中的分组统计中很有用~groupby:首先创建数据:import pandas as pdimport numpy as npdf = pd.DataFrame({'A': ['a', 'b', 'a', 'c', 'a'...原创 2018-08-27 18:15:53 · 43553 阅读 · 0 评论 -
利用pandas对数据离散化
在实际的工作场景中,我们经常会遇到这样一种场景:想要将某些字段进行离散化即分桶,简单来说就是讲年龄分成几个区间。pandas中的cut方法能很好地完成此操作。#导入相关库,并创建数据集import pandas as pd import numpy as npindex = pd.Index(data=["Tom", "Bob", "Mary", "James"], name="na...原创 2018-08-28 16:44:26 · 8162 阅读 · 0 评论 -
python中部分函数用法的总结
在写python脚本时,通常会遇到一些函数,下面对这些的函数用法做一个总结:1、strip()函数作用:移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。案例:#案例a=' asdjfadf ' #创建对象a.strip()Out[75]: 'asdjfadf'#删除开头和结尾还有字符aa.strip('a')Out[89]: 'sdjfadf'2...原创 2018-08-29 17:01:22 · 688 阅读 · 0 评论 -
pandas小技巧之求行最大值及其索引
在平时训练完模型后,需要对模型预测的值做进一步的数据操作,例如在对模型得到类别的概率值按行取最大值,并将最大值所在的列单独放一列。数据格式如下:arrayarray([[ 0.47288769, 0.23982215, 0.2261405 , 0.06114962], [ 0.67969596, 0.11435176, 0.17647322, ...原创 2018-09-20 14:26:34 · 76625 阅读 · 1 评论 -
spyder中安装第三方库的包
最近遇到一个问题:在CMD命令窗口安装的python包,在anaconda中spyder编辑器中找不到已安装的python包,经过网上的资料查看,原来是因为,cmd中python包的工作路径与anaconda安装路径是同一级目录,因此anaconda下的spyder并不能检测到该包,通过资料的查询与实现,终于找到如下解决办法:第一步:找到anaconda命令窗口,依次点击开始—>所有程序...原创 2019-02-24 21:08:01 · 54138 阅读 · 9 评论 -
WIN10系统下,安装可视化工具GraphViz
以前安装过这个包,成功了,但是电脑重做系统后,装了好半天才装好,老是提示:InvocationException: GraphViz’s executables not found这是由于环境变量没有添加到系统path导致的,在此写个教程记录一下吧。首先在官网下载这个安装包:https://graphviz.gitlab.io/_pages/Download/Download_win...原创 2019-05-16 23:40:15 · 1848 阅读 · 1 评论