猪宝贝的博客

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代.

将列表式变量转为列， 例如var1 value1 a c1,c2,c3,c2 b b1,b2,b1 将value1拆分转换为列，语句如下：select var1, value2from table1 lateral view explode(split(value1, ",")) adTable as value2 ;转换结果如下：var1 value2 a c1 a c2 a c3 a c

def full_to_half(full_width_string): fullString = str(full_width_string) halfString = "" for schar in fullString: char_code = ord(schar) if char_code == 12288: char_code=32 elif (char_code>=65281 and char.

工作中使用hive进行数据预处理，有时候需要对数据抽样来做一些评估分析。下面记录通过python进行分层随机抽样的过程。使用python连接数据库读取数据请参考：使用python连接数据库import sqlalchemyimport pandas as pdimport numpy as np # 1. 连接hive获取数据def get_hive_data(sql): user_name = "hive引擎地址" hive_engine = sqlalchemy.c

import pandas as pdimport sqlalchemyimport pymysqlimport pymssqlimport pyhive# 连接hivedef con_hive(sql): user_name = "hive链接地址" hive_engine = sqlalchemy.create_engine(user_name) data = pd.read_sql(sql, hive_engine) print ("
数据读取完毕
.

今天接到一个需求，要求用对数据进行错位相减。感觉写得有点麻烦，如果其他方法，欢迎留言交流数据说明：有客户、消费日期、消费额度求解目标：对于同一个客户，对日期升序排序，如果下一个日期的消费额度大于上一个日期的消费额度，则标记，最终取出第一次发生时对应的较大的日期import pandas as pdimport numpy as npdf = pd.DataFrame({'per...

使用del和drop方法删除DataFrame中的列，使用drop方法一次删除多列# 使用del, 一次只能删除一列，不能一次删除多列# 只能使用 del df['密度'], 不能使用 del df[['密度', '含糖率']]del df['密度']# del df[['密度', '含糖率']] 报错# 使用drop，有三种方法：dt = dt.drop(['密度',...

在一些机器学习算法中，经常要对数据进行编码转换，转换后需要查询标签和编码的对应关系，可以使用以下代码处理。但是注意下面代码使用的是 astype(‘category’)，它和pd.Category(…)是不一样的，具体区别请参考文章https://www.jb51.cc/python/533189.htmlimport pandas as pd# 创建数据集df = pd.Data...

# 替换某些列名中的 某部分 字符串def re_columns(dt, substr, newstr, ls): """ Parameters ---------- dt : datasets substr : str string that will be replaced. newstr : str...

# 只能是内嵌列表，如果改为 a = [[1,2,3],[4,5,6], [7], [8,9] , 10] 则无法实现import itertoolsa = [[1,2,3],[4,5,6], [7], [8,9]]out = list(itertools.chain.from_iterable(a))print(out)# [1, 2, 3, 4, 5, 6, 7, 8, 9]...

最近趁着有空，在虚拟机里装了Ubuntu18.04系统，然后搭建了 hadoop与spark环境，记录一下。一、使用的工具版本：jdk-8u241-linux-x64.tar.gzhadoop-2.7.7.tar.gzscala-2.11.8.tar.gzspark-2.4.5-bin-hadoop2.7.gz没装hive，略过Anaconda3-2019.07-Linux-x8...

转自CSDN博主「Inside_Zhang」，链接：https://blog.csdn.net/lanchunhui/article/details/50354978首先声明两者所要实现的功能是一致的（将多维数组降位一维），两者的区别在于返回拷贝（copy）还是返回视图（view），numpy.flatten()返回一份拷贝，对拷贝所做的修改不会影响（reflects）原始矩阵，而numpy...

使用Python发送邮件(图片、表格、附件) 系列一，如何发送图片、表格等的全代码：https://blog.csdn.net/u010652755/article/details/104321413使用Python发送邮件(图片、表格、附件) 系列二， 同时发送图片和附件实际案例：https://blog.csdn.net/u010652755/article/details/104...

读取csv时遇到一个长数字（比较长的数字，excel中长度超过16位后，会变成科学计数法显示）转换问题。在csv中正常显示全部数字，没有变成科学计数法，但用pd.read_csv后就变成了科学计数法显示， 如下图显示。这是个问题，当然要解决呀呀呀。搜索了许多网页，找到一篇文章可以解决这个问题：https://www.jb51.net/article/164692.htm...

本文中Part 0 + 中间任何一Part 或组合 + Part 6, 即可将内容正常发送到QQ邮箱。本文使用个人电脑和个人邮箱，对代码进行了测试，可以正常运行。非常感谢诸位网友的共享，在写代码的过程中给了我很大的帮助，如果出现了问题错误，可以多搜索多尝试，希望对各位有帮助。 实际案例应用见系列二 ：https://blog.csdn.net/u010652755/articl...

本文是系列一的实际应用案例。全部代码见系列一：# -*- coding: utf-8 -*-"""Created on Fri Feb 14 20:28:21 2020@author: xxx"""import osos.chdir(r'F:\自动化报表') # 设置文件路径import numpy as npimport pandas as pdimport m...

python 连接 mysql 数据库出现 keyerror： 255，字符集相关错误Traceback (most recent call last): File "<ipython-input-13-850297a5d287>", line 1, in <module> mydata = con_mysql(sql) File "<ipy...

今天突然发现电脑内存爆满，使用率超过97%，但是并没有发现占用内存高的软件，后来网上搜索发现了一个可能解决方法：更新驱动用360驱动大师更新完后，内存恢复正常，下降到14%。...

参考文章:https://fonttian.blog.csdn.net/article/details/78107421import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport mathfrom mpl_toolkits.mplot3d import Axes3D# 添加下面代码后绘...