2020年02月_skyHdd

11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

原创【利用Python进行数据分析】5 - pandas入门

pandas含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具。pandas经常和其它工具一同使用，如数值计算工具NumPy和SciPy，分析库statsmodels和scikit-learn，和数据可视化库matplotlib。pandas是基于NumPy数组构建的，特别是基于数组的函数和不使用for循环的数据处理。虽然pandas采用了大量的NumPy编码风格，但二者最大的不同是pa...

2020-02-25 20:22:07 1107 1

原创【利用Python进行数据分析】3-Python的数据结构、函数和文件

一、数据结构和序列1.1、元组1.1.1、定义元组元组是一个固定长度，不可改变的Python序列对象，创建元组的最简单方式，是用逗号分隔一列值。当用复杂的表达式定义元组，最好将值放到圆括号内。tup1 = 1,2,3 #(1,2,3)tup2 = (1,2),(3,4,5),(6,7,8,9,10) #((1,2),(3,4,5),(6,7,8,9,10))用tuple可以将任意序...

2020-02-17 19:19:21 519 1

原创【利用Python进行数据分析】2 -Python语法基础、IPython和Jupyter Notebooks

Python解释器Python是解释性语言。Python解释器同一时间只能运行一个程序的一条语句。标准的交互Python解释器可以在命令行中通过键入python命令打开。提示输入代码。要退出Python解释器返回终端，可以输入exit()或按Ctrl-D。运行Python程序只需调用Python的同时，使用一个.py文件作为它的第一个参数。假设创建了一个hello_world.py文件，可以...

2020-02-16 15:42:01 976 1

原创【利用Python进行数据分析】1 - python介绍、安装与设置

结构化数据结构化数据（structured data），这个术语代指了所有通用格式的数据，例如：表格型数据，其中各列可能是不同的类型（字符串、数值、日期等）。比如保存在关系型数据库中或以制表符/逗号为分隔符的文本文件中的那些数据。多维数组（矩阵）。通过关键列（对于SQL用户而言，就是主键和外键）相互联系的多个表。间隔平均或不平均的时间序列。这绝不是一个完整的列表。大部分数据集都能被...

2020-02-15 20:21:38 500 1

原创【利用Python进行数据分析】10 数据聚合与分组计算

对数据集进行分组并对各组应用一个函数，是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，实现对数据集进行切片、切块、摘要等操作。使用一个或多个键（形式可以是函数、数组或DataFrame列名）分割pandas对象。计算分组的概述统计，比如数量、平均值或标准差，或是用户定义的函数。应用组内转换或...

2020-02-13 22:34:10 1947 1

原创 python 创建空dateframe最常见的方法

import pandasdf_data = pd.DataFrame(columns = ['列名1','列名2','列名3','列名4'])

2020-02-12 08:46:19 1217

原创 python 三种时间格式转换，datetime.datetime 、datetime.date、str 相互转换

在统计数据时候，涉及统计时间，主要是 datetime.datetime 、datetime.date、str 三种格式相互转换。一、datetime.datetime to str_timeimport datetimefrom datetime import datetime#输入：dt_datetime#输出：str_timestr_time = dt_datetime.st...

2020-02-11 22:43:32 21511 7

原创 pycharm 公司内网+合规外网安装踩坑记

坑1、pycharm内网安装，需要自己下载python编译器进行配置。坑2、合规环境下，第三方库安装是个大坑。可以在pycharm——Setting中设置接口地址，该地址和ie浏览器中设置相同。坑3、公司程序需要在生产环境下运行，对每个project可以设置一个虚拟环境，避免不同的project需要不同的第三方库。...

2020-02-10 23:05:29 1322 1

原创 python Dataframe apply()自定义函数中axis参数

缺少axis=1，会报错，提交次数错误，让你百思不得其解。df_date.apply()函数难道不是默认用于列的吗？_？df_data_dep = df_work_data[df_work_data.apply(lambda x: x['提交次数'] > 0 , axis=1)]...

2020-02-10 20:08:22 6597 1

原创 python datetime日期时间去掉时分秒

一：场景1输入：datetime格式日期时间输出：datedate格式日期方法：datetime.datetime.date()直接转换，关键是改变日期的格式从而改变日期时间的显示。import pandas as pdimport datetimefrom datetime import datetimefrom datetime import timedeltamin_date...

2020-02-10 19:59:05 49317 2

原创 python pandas.merge()实现两个dataframe连接

merge: 合并数据集，通过left， right确定连接字段，默认是两个数据集相同的字段参数说明left 参与合并的左侧DataFrameright 参与合并的右侧DataFramehow 连接方式：‘inner’（默认，内连接）；还有，‘outer’（全连接）、‘left’（左连接）、‘right’（右连接）on 用于连接的列名，必须同时存在于左右两个DataFrame对象中...

2020-02-09 12:18:15 8430

原创 Python Dataframe 两列相除

对应列直接相除或者采用apply函数import pandas as pddf = pd.read_csv('离线数据.csv')#新建一个Dataframedf_data = pd.DataFrame(columns=['总数','人数','平均值'])df_data[['总数','人数']] = df#1、使用apply函数df_data['平均值'] =df_data.a...

2020-02-09 12:06:25 43395 2

原创 python Dateframe显示全部列或者行

导入pandas库并设置import pandas as pd#显示Dateframe所有列(参数设置为None代表显示所有行，也可以自行设置数字)pd.set_option('display.max_columns',None)#显示Dateframe所有行pd.set_option('display.max_rows',None)#设置Dataframe数据的显示长度，默认为50...

2020-02-09 11:53:34 17885

原创 python 获取当天日期值

import time, datetimedate = datetime.date.today()报错：AttributeError: ‘method_descriptor’ object has no attribute ‘today’debug：You need do like this one (ipython output)import time, datetimefro...

2020-02-08 09:36:33 5403

原创 Anaconda Prompt 切换工作路径

Anaconda Prompt：默认路径：默认路径是你的用户名路径切换路径：Anaconda Prompt在默认路径下，无法直接cd到其他盘。只能在根目录下进行切换盘符返回根目录：使用cd …切换到上级目录...

2020-02-05 22:08:15 4563

原创 Anaconda 安装可视化库Pyecharts （Windows环境）

Anaconda Prompt快速安装出错#1、快速安装conda install Pyecharts#2、按照版本安装anaconda search -t conda pycharts报错，不能安装下载Pyecharts库到Anaconda 文件下安装步骤：下载pyecharts安装包到本地，再使用pip或者conda命令安装；pyecharts安装包下载地址将安装包p...

2020-02-05 21:57:52 4305 3

原创 python 识别不标准的project name

一、业务目标说明project 含有两个字段，分别为 project id和project nameproject id和project name理论上是一一对应关系，需要找出project id相同，project name不同的数据project name不标准主要体现在大小写不一致，需要区分大小写；含有非法空格二、python实现import pandas as pdim...

2020-02-04 11:28:59 498

原创 Anaconda3 安装爬虫库 selenium（windows环境）

一、Anaconda 安装selenium库#使用命令：conda或pipconda install seleniumpip install selenium用 Chrome 浏览器来测试#用 Chrome 浏览器来测试from selenium import webdriverbrowser = webdriver.Chrome()browser.get('http:/...

2020-02-04 10:59:32 7877 3

数据分析数据流.zip

数值数据分析流框架 python code案例数据分析流框架理解 1、需求 2、y量化 3、x选择 4、描述 4.1图形 4.2统计量 5、预分析（特征工程，流程化和模块化） 5.1、异常值单变量异常值多变量异常值 5.2、缺失值单变量缺失值多变量缺失值 5.3、特征筛选单变量特征筛选多变量特征筛选 5.4、共线性 scipy.optional 单变量多变量 5.5、变换单变量多变量 5.6、编码单变量编码多变量编码 6、建模（大模型：机器学习）小数据算法：8 statsmodel 小数据大数据算法：20 sklearn 大数据 7、修正 7.1、残差 7.2、假设（清晰清楚） 8、模型评估 8.1、残差 8.2、业务 9、应用 9.1、主次归因 9.2、规则归因 9.3、内衍 9.4、外推 10、可视化 ——————————————— 原文链接：https://blog.csdn.net/u010591976/article/details/106367307

2020-06-02

stopwords.txt

为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词即被称为Stop Words(停用词)。通常意义上，Stop Words大致为如下两类：这些词应用十分广泛，在Internet上随处可见，比如“Web”一词几乎在每个网站上均会出现，对这样的词搜索引擎无法保证能够给出真正相关的搜索结果，难以帮助缩小搜索范围，同时还会降低搜索的效率；这类就更多了，包括了语气助词、副词、介词、连接词等，通常自身并无明确的意义，只有将其放入一个完整的句子中才有一定作用，如常见的“的”、“在”之类。举个例子来说，象“IT技术点评”，虽然其中的“IT”从我们的本意上是指“Information Technology”，事实上这种缩写也能够为大多数人接受，但对搜索引擎来说，此“IT”不过是“it”，即“它”的意思，这在英文中是一个极其常见同时意思又相当含混的词，在大多数情况下将被忽略。我们在IT技术点评中保留“IT”更多地面向“人”而非搜索引擎，以求用户能明了IT技术点评网站涉及的内容限于信息技术，虽然从SEO的角度这未必是最佳的处理方式。了解Stop Words，在网页内容中适当地减少Stop Words出现的频率，可以有效地帮助我们提高关键词密度，而在网页Title中避免出现Stop Words往往能够让我们优化的关键词更突出。

2020-02-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

小狐狸