柠檬1993-CSDN博客

原创 Hive基础

hive的基本简介hive概念：基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive利用HDFS存储数据，利用mapreduce查询分析数据，本质是将SQL转换为mapreduce程序，比直接使用mapreduce开发效率高。hive的元数据存储：通常存在关系数据库中，如mysql.hive中将元数据存储在数据库中，hive的源数据...

2019-06-17 13:39:31 375

说明：在不同的行业做数据分析，有些指标是互通的，但是根据业务的不同也会有很多不同的指标，比如之前在互联网金融公司实习，做的是信贷产品的数据分析，常用到的指标就有各种用户数据，比如新客、老客、随借、结清再贷等；各种转化率、各种时效，比如客服时效、是否实地、实地时效、补充个人征信时效等等，特别多。那么今天总结的就是游戏产品（手游）中常用到的各种指标，也是从网络中搜集整理的材料，主要是自己想学习了解一下...

2019-06-12 11:39:43 1768

原创数据库基础知识（概念型）

第一章概念1、数据：描述事物的符号记录称为数据。特点：数据和关于数据的解释不可分。2、数据库：长期存储在计算机内、有组织、可共享的大量的数据的集合。数据库中的数据按照一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。特点：永久存储、有组织、可共享。3、数据库管理系统(DBMS)：位于用户与操作系统之间的一层数据管理软件。主要功能：数据...

2019-06-10 20:58:46 53545 3

原创 ETL基础理论学习笔记

1、ETL的位置：介于数据与数据仓库之间2、ETL的概念：数据抽取、转换、装载的过程，它是构建数据仓库的重要环节。3、ETL的作用：负责将分布的、异构数据源中的数据如关系数据、平面数据文件等取到临时中间层（ods层）后进行清洗、转换、集成，最后加载到数据仓库（dw层）或者数据集市（dw层）中，成为联机分析处理、数据挖掘的基础。4、数据的抽取（1）与存放dw的数据库系统相同的数据源处...

2019-06-03 15:06:28 762

原创 SQL整理（语句+示例）

1.查找数据查询SELECT：用于从数据库中选择数据SELECT *FROM table_name;DISTINCT：过滤掉重复的值并返回指定列的行SELECT DISTINCT列名;WHERE：用于过滤记录/行SELECT column1，column2FROM table_name WHERE condition; SELECT *FROM table_name...

2019-06-02 15:59:24 786

原创数据分析方法

说明：本文系个人学习笔记，分享给小伙伴们共同进步。来源于微信公众号数据管道，如有需要自行去关注。请勿将本文转载以及做其他用途。数据特征分析包括：分布分析、对比分析、统计分析、贡献度分析(帕累托分析)、以及相关性分析。（1）分布分析用来解释数据的分布类型和分布特征，显示其分布情况。定量数据的分布分析求极差 -->决定组距与组数-->决定...

2019-05-29 19:02:06 946

原创 python练习题（六）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。Matplotlib绘图：（1）画出

2019-05-29 14:40:32 3220

原创 python练习题（五）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。Pandas中的层次化索引、数据转置、数据分组及运算、离散化处理等：（1）读取数据。读取之前作业保存的“酒店数据1.xlsx”import numpy as npimport pandas as p...

2019-05-29 12:17:12 3507

原创 python练习题（四）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。Pandas中的统计分析与透视表：（1）读取上次作业保存的数据，酒店数据1.xlsx 答：读取数据pd.read_excel()，除此外还可以读其他类型数据，比如pd.read_csv()等...

2019-05-28 17:20:15 3538

原创 python练习题（三）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。Pandas基础知识：（1）用字典数据类型创建DataFrame。 data={'state':['a','b','c','d'], 'year':[1991,1992,1993,1994], 'pop':...

2019-05-28 10:03:51 5454 1

原创 python练习题（二）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。numpy数组部分：（1）创建一个1到10的数组，然后逆序输出。答：实现数组逆序方法包括切片，reversed()函数和自定义函数实现。对比习题（一）中列表逆序输出，想想区别。#切片im...

2019-05-27 17:44:29 7301 1

原创 python练习题（一）

说明：以练习题的方式，学习python基础知识点，主要是数据分析方向常用的numpy、pandas、matplotlib等库对应的练习题。仅供参考，题目来源于网络，如有侵权请联系我删除。第一组 python基础语法：（1）下面两段代码输出的结果相同么？请解释原因。 ① x=4，y=5，print（x+y） ② x='4',y='5', print(x+y) 答：一...

2019-05-27 16:14:10 14333 1

原创（一）Linux学习之文件处理命令

1、文件处理命令：ls功能描述：显示目录文件语法：ls 选项[-ald] [文件或目录]-a 显示所有文件包括隐藏文件(all)； -l 显示详细信息(long)； -d 查看目录属性(directory)注：以 d rwx r-x r-x为例第一个字符：d表示目录，-表示二进制文件，l表示软链接文件后9个字符，每三个一组，共三组，第一组表示所有者权限，...

2018-09-02 15:54:51 215

原创北京宜信数据分析实习生面试经验分享

声明：不允许转载，谢谢合作。本人在校研二学生，某个非211,985的一本大学，专业是软件工程，经朋友内推，面试北京宜信公司大数据中心数据分析实习生一职，远程面试，共两面，一个是技术面试，一个是“领导”面试。就是一面在问技术方向的，二面在问工作中各种情况你的应对办法。技术面试问的主要包括：SQL数据库方面，python方面、hadoop方面、数据仓库、linux方面1、SQL数据库方面：...

2018-08-29 18:01:51 1371 2

原创 python 股票市场分析实战

说明：本文python股票市场分析实战主要包括两个方面，一是历史趋势分析，二是风险分析。听着挺厉害，其实......咳，咳实验数据：来源于Yahoo Finance，网址：https://finance.yahoo.com ,该网站提供了很多API接口，读取数据很方便，本文用的工具是pandas-datareader实验平台：Anaconda3（包含很多做数据分析的包，如numpy,pan...

2018-08-24 12:37:01 39563 6

原创 Excel 数据处理基础

说明：都是自己曾经遇到过的小小问题，回顾总结一下，希望让初识excel的小伙伴，像我一样的小小白选手，及时找到解决问题的答案。也热烈欢迎其他小伙伴留言补充，一起进步。问题一：如何将公式快速运用到一整列？答案：法1 单元格右下角双击；法2 鼠标拖动；法3 先选择公式单元格所需要复制到的其他单元格，然后Ctrl+D。这样整个C数据列就都应用y2=2*x公式了。（推荐方法1，速度快）问题...

2018-08-23 15:23:50 985

原创制作 Excel 中的那些表

说明：本文中使用的软件为WPS中的excel，所绘制的图表较为粗糙，部分缺乏标题，图例，表名等诸多因素，希望大家在绘制表格时要注意，嘻嘻嘻。图表配色方面可参考网站https://color.adobe.com/zh/explore/?filter=most-popular&time=month表1 条形图制作流程：选定数据，插入，条形图。哈哈哈哈，这么简单，猝不及防吧。！请注意...

2018-08-23 13:25:47 503

转载常用的MySQL操作命令

一、mysql服务操作 0、查看数据库版本 sql-> status; 1、net start mysql //启动mysql服务 2、net stop mysql //停止mysql服务　 3、mysql -h主机地址 -u用户名－p用户密码 //进入mysql数据库 4、quit //退出mysql操作 5、mysqladmin -u用户名 -p旧密码 password 新密码 //更...

2018-04-19 15:49:26 302

原创在Windows环境下访问linux虚拟机中MySQL数据库

说明：本人也是初学者小白一枚，所写内容，诸多纰漏，仅供参考学习。Linux虚拟机：VMware +ubuntu16.04.4windows本机：Navicat for MySQL1、虚拟机中下载安装MySQLVMware下载安装和ubuntu16.04.4下载安装，请自行百度查询，本文默认这些已经安装好了。在虚拟机中Ctrl+Alt+T打开一个终端，输入命令 sudo apt-get instal...

2018-04-18 16:11:54 5515 1

qq_37635049的博客