![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据处理
Jump
这个作者很懒,什么都没留下…
展开
-
数据处理之数据的导入与导出
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q插入链接 Ctrl + L插入代码 Ctrl + K插入图片 Ctrl + G提升标题 Ctrl + H有序列表 Ctrl + O...原创 2018-09-17 12:44:22 · 1184 阅读 · 0 评论 -
数据处理之重复值,缺失值,空格值的处理
重复值处理去除重复值在python中主要是用drop_duplicates函数,接下来做个小示范( 这边是我的文件路径,如果你想实现此功能需要输入自己的文件路径):# -*- coding: utf-8 -*-import pandas as pd df = pd.read_csv(r'/Users/herenyi/Downloads/4/4.3/data.csv', encoding...原创 2018-09-17 14:38:37 · 1609 阅读 · 0 评论 -
数据处理之字符串操作
字段抽取字段抽取是指根据已知的字段抽取你想要的其中一部分组成新的列,主要是靠slice()函数来实现,主要有start和stop两个参数,我们都知道开始位置从0开始,结束位置为n-1。 下面我们以手机号码为例子做个字段截取, 首先导入文件:# -*- coding: utf-8 -*-import pandas as pd df = pd.read_csv(r'/Users/here...原创 2018-09-17 15:29:31 · 304 阅读 · 0 评论 -
数据处理之数据过滤,合并与随机抽样
数据过滤与筛选常用的数据过滤有以下五种手段:比较运算,范围运算,空值匹配,字符匹配和逻辑匹配,下面我们就以实例来进行学习。首先还是导入我们的文件# -*- coding: utf-8 -*-import pandas as pd df = pd.read_csv(r"/Users/herenyi/Downloads/4/4.8/data.csv",sep = '|', encodi...原创 2018-09-17 16:59:59 · 2083 阅读 · 0 评论 -
数据处理之数据标准化和数据分组
数据标准化数据标准化是指让所有数据等比例缩放,使之落入特定区间便于计算与分析,常用的有0-1标准化,公式为:代码实现如下:# -*- coding: utf-8 -*-import pandas as pddf = pd.read_csv(r"/Users/herenyi/Downloads/4/4.14/data.csv",encoding = 'UTF-8');df['norma...原创 2018-09-17 19:14:22 · 1930 阅读 · 0 评论 -
数据处理之日期处理
日期转换通常文件读取的日期都为字符型,为了计算,我们需要将这转化为日期型数据。主要用到to_datetime(x, format)函数,x是你要处理的日期型字符串,format是你要输出的日期型格式。下面我们以输出年月日格式为例:# -*- coding: utf-8 -*-import pandas as pd df = pd.read_csv(r"/Users/herenyi/Down...原创 2018-09-18 15:49:43 · 2834 阅读 · 0 评论 -
关于前程无忧以‘数据分析’为关键词的招聘信息的数据分析
背景:作为个数据分析小菜鸟,深知知行合一的重要性。基于本人目前要在杭州寻找一份数据分析的初阶工作的现实考量,故决定采用前程无忧上关键词‘数据分析’和地点设置在杭州上的招聘信息作为此次数据分析的数据来源来进行实操,同时也为了能让自己更好的了解目前杭州关于数据分析岗位的招聘市场以及岗位的成长性作一个简单的前瞻和展望。方法:首先通过爬虫的request和BeatifulSoup库来进行所需数据的抓取(...原创 2018-09-27 20:07:02 · 3348 阅读 · 2 评论