小猪课堂的博客

最近在公司经常会用到一些spark,一般都是使用python进行处理,一开始使用还是有点陌生,看了几篇往上的文章也简单的操作了几天,通过写这篇文章再去巩固一下基础知识~持续更新提示(tips)这里要说一下spark中每一个环节都是分开的;spark函数使用的是驼峰命名法;代码写在一行上,如果过长换行必须有"",否则会报错(此坑已踩!!);基础查询selectwhere ->> where/filtergroup by ->> groupbycase when函

经常会遇到日期转成字符串，有的字符串带‘-’有的没有，有‘-’的可以直接使用to_date()函数可以实现自动转换，但是有时候我们比较的日期一个是带‘-’的，一个是不带‘-’的，所以需要拉齐，使用以下代码可以快速帮助你应对不用的格式类型的数据，希望对你有帮助。时间转换】： 2021-05-01 转变成20210501year(a.event_time)*10000+month(a.event_time)*100+day(a.event_time)【时间转换】： 20210501 转变成 2021-0

虽然学代码很久了，但是每次遇到时间上的问题的时候都会犯难，最近针对几个痛点和难点做了一些简单的梳理，来就解决日常代码中的一些常见的需求。------以上时废话，以下是有用的东西-------------------------------------------------------主要分为三类时间戳时间间隔与从周期表时间增量或持续时间我们从Python标准库、numpy到pandas的顺序来梳理。一、Python标准库：原生Python的日期与时间工具：datetime和dateut

最近在处理数据时会使用到将行转列 或者将列转行的情况，看了很多大神的教程一直提到一个pivot的函数，自己在之前看书的时候有看过一个类似的函数就是pivot_table的函数，出于好奇就写一个这两个函数的区别吧。------以上时废话，以下是有用的东西-------------------------------------------------------首先看一下这两个函数的超参：pivot: 通过指定的索引和列对数据进行重塑，无法聚合。法一：pd.pivot( )pd.pivot(

简介numpy.argmax(array, axis) 用于返回一个numpy数组中最大值的索引值。当一组中同时出现几个最大值时，返回第一个最大值的索引值。在运算时，相当于剥掉一层中括号，返回一个数组，分为一维和多维。一维数组剥掉一层中括号之后就成了一个索引值，是一个数，而n维数组剥掉一层中括号后，会返回一个 n-1 维数组，而剥掉哪一层中括号，取决于axis的取值。n维的数组的 axis 可以取值从 0 到 n-1，其对应的括号层数为从最外层向内递进，详见后文。一、一维数组的用法one_di.

将数据转换成category类型h_total_data['country_name'].astype('category')----------------分享完毕，解决请【点赞】哈 ------------------------Address：北京Date：20210305喜欢可以关注【小猪课堂】公众号了解更多内容...

import pandas as pdceshi = pd.read_csv(u'F:/下载/context_data.csv')# print(ceshi)# melt行转列bd = pd.melt(ceshi, id_vars=['context_id','subject_gmt'],value_vars=['browse_count','click_count','like_count','commet_count','reply_count','score_value'], var_

最近又开始写代码了，今天学习神经网络的BP时候发现了一个报错并且在网站上看了，大部分的解释都很简单但是有很难懂，但是人家的方法也是可以用的。其实这个错误非常简单，但如果你不注意就或报错并且由于太简单了就很难发现。解决方法：在数与数之间的加减乘除符号不能省略例子报错代码w[1] = w[1]-0.5( t1 * w[7] + t2 * w[8] )*h1*(1.0-h1)*l[1] 这段代码会报错！！！！错误：TypeError: ‘float’ object is not callable

保存重要变量数据例子如下import dill#保存变量T='Hiya'val=[1,2,3]a = np.zeros([4,5])#建立一个缓存的文件filename= 'globalsave.pkl'dill.dump_session(filename)#读取变量filename= 'globalsave.pkl'#读取dill.load_session(filename)...

暂时没时间整理，还在学习，这个文章记录我学习过程中的报错，后面形成框架后会整理好告诉大家的~1、AttributeError: module ‘tensorflow’ has no attribute ‘Session’https://blog.csdn.net/sinat_36502563/article/details/1023023922、AttributeError: module ‘tensorflow’ has no attribute ‘global_variable_initializ

Python报错解决方案TypeError: Cannot compare types ‘ndarray(dtype=int64)’ and 'int64’不仅报错运行还慢data_replace = data.replace(code_dic)报错内容：解决方法：def replace_(x): #替换函数 return code_dic[x]data.applymap(lambda x: replace_(x))...

今天接到一个需求，要求对数据错位相减。感觉写得有点麻烦，如果有其他方法，欢迎留言交流数据说明：有客户、消费日期、消费额度求解目标：对于同一个客户，对日期升序排序，如果下一个日期的消费额度大于上一个日期的消费额度，则标记，最终取出第一次发生时对应的较大的日期最简单的方法是使用 pandas.Series.shift 具体可参考官方文档https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.shift.html

·加粗样式1、使用Spyder调用自写类（class）时提示：IndentationError: unexpected indent；2、检验后未发现有任何书写问题，缩进都正常；3、使用notebook时运行正常满足以上3个条件的可以尝试使用我的方法（亲测天坑）解决方法：1、删除所有注释2、将注释缩进以上两种解决方法，推荐使用2吧问题很简单，解决的朋友请点赞----------------分享完毕------------------------Address：北京Date：20200

【Python—类】 同一个类中一个函数里调用另一个函数的方法class Solution: def a(self): self.b() # 注意这种写法：self.类名 def b(self): print('在这里')a = Solution()a.a()

快速查看类（class）下的方法import pandas as pdimport numpy as np import mathcontent = dir(math)print (content)Address：北京Date：20200925喜欢可以关注【小猪课堂】公众号了解更多内容

使用pandas.read_csv(filePath)方法来读取csv文件时，可能会出现这种错误：ParserError： 如：Error tokenizing data.C error:Expected 2 fields in line 407,saw 3.这句话的意思是，在csv文件的第407行数据，期待2个字段，但在第407行实际发现了3个字段。原因：header只有两个字段名，但数据的第407行却出现了3个字段（可能是该行数据包含了逗号，或者确实有三个部分），导致pandas不知道该如何处理

目的：在构造的dataframe中添加一行数据给已经建好的DataFrame中添加一行# 构建一个dataframedf = pd.DataFrame(columns=['name','number'], data=[['cat',3], ['dog',2],['pig',1]])df name number0 cat 31 dog 22 pig 1# 插入一行，随便设置索引，比如按照字符串作为索引df.loc['new'] = ['d

获取当日的日期或当日时间import datetimecurrent_date = datetime.datetime.now().strftime('%Y%m%d')此时为字符串格式，强行改成整型current_date =int(datetime.datetime.now().strftime('%Y%m%d'))OK，每天一练，多练习就不会忘记Date：2020年9月7日Address：Beijing-----------------------------分享结束线-------

喜欢可以关注【小猪课堂】公众号了解更多内容DataFrame根据条件设置如果现在的判断条件是这样, 我们想要更改B中的数, 而更改的位置是取决于 A 的. 对于A大于4的位置. 更改B在相应位置上的数为0.>>df.B[df.A>4] = 0 A B C D2013-01-01 0 2222 2 32013-01-02 4 5 6 72013-01-03 8 0 111

【Python数据清洗】数据格式互换str转int、str转float、str转object添加链接描述这篇过于啰嗦，然后3分钟内看不完所以我又回来更新了========================================多年后看之前写的真的很啰嗦，可能不是网友们最想看到的（因为我看的时候看了好久才明白说的是啥子）字符转换！字符转换！字符转换！字符转换！字符转换！：str转成int法一：df['timestr']=df['timestr'].apply(lambda x : int(x