- 博客(10)
- 收藏
- 关注
RSS订阅原创 创建hive拉链表
一、初始化SELECT ROW_NUMBER() OVER(ORDER BY xxxx_code) AS xxxx_key -- 代理键值,t.*,CAST(CURRENT_TIMESTAMP() AS STRING) AS au_last_update_time -- 更新时间,'1' AS au_active_flag -- 是否有效,'1970-01-01'
2022-01-26 17:56:27
1984
原创 adventure项目案例分析
本文是对CareDrive项目的总结，记录项目分析与实现过程。主要任务是对MySQL数据库中原始数据通过pandas和numpy聚合、分析，并通过python实现自动更新，以及dashboard的搭建，为业务提供自主分析工具。在公司数据量不断增大的情况下，通过Sqoop抽取数据到hive中聚合数据，再导入MySQL数据库，完成ETL过程。项目预览：一、项目概述及背景介绍CareDrive公司它的产品可以分为三个大类：驾驶安全终端（公司主要产品）、服装、配件。驾驶安全终端又分为三种类型，防碰撞单体
2021-02-27 00:23:56
542
原创 写《2020年11月线上自行车业务分析报告》
一、分析报告的背景：2020年12月业务组组长需要向领导汇报2020年11月驾驶安全终端销售情况，为精细化运营提供数据支持，能精准的定位目标客户群体。二、分析目的：1、如何制定销售策略，调整产品结构，才能保持高速增长，获取更多的收益，占领更多市场份额，是公司最关心的问题。2、报告通过对整个公司的汽车产品销量持续监测和分析，掌握公司汽车产品销售状况、走势的变化，为客户制订、调整和检查销售策略，完善产品结构提供依据。三、数据来源与表名，基础表存于Mysql数据库, 数据库名：drive_odsdw_
2021-02-26 09:48:42
279
原创 mysql使用
常用命令select version(); --查询数据库版本select now(); --查询当前时间\c --结束一条语句exit或者\q --退出mysql。
2020-12-03 10:41:38
113
原创 python赋值、浅拷贝和深拷贝的区别
python赋值、浅拷贝和深拷贝的区别首先需要了解下几个概念：不可变对象：一旦创建就不可修改的对象，包括字符串、元组tuple、数值类型 （int/float）该对象所指向的内存中的值不能被改变。当改变某个变量时候，由于其所指的值不能被改变，相当于把原来的值复制一份后再改变，这会开辟一个新的地址，变量再指向这个新的地址。可变对象：可以修改的对象，包括列表list、字典dict、集合set该对象所指向的内存中的值可以被改变。变量（准确的说是引用）改变后，实际上是其所指的值直接发生改变，并没有
2020-11-28 22:06:05
177
1
原创 numpy中的排序问题
1.逆序排列数组np.sort()函数返回输入数组的排序副本,只会从小到大排序，不能逆序，如果需要逆序，采用如下方法：a = np.array([7,8,9,3,2,1,4,6,5])np.sort(a)>>array([1, 2, 3, 4, 5, 6, 7, 8, 9])a[np.argsort(-a)] # argsort()返回的是数组值从小到大的索引值>>array([9, 8, 7, 6, 5, 4, 3, 2, 1])-np.sort(-a)&g
2020-09-17 22:10:59
2987
原创 numpy.random中:shuffle和permutation
shuffle与permutation的区别: shuffle与permutation都是对原来的数组进行重新洗牌（即随机打乱原来的元素顺序）,但有两处不同：1.如果传给permutation一个数组，它会返回一个洗牌后的数组副本；而shuffle是直接在原来的数组上进行操作，对原来的数组进行洗牌，无返回值。2.permutation可以传入一个整数，它会返回一个洗牌后的arange；而shuffle不能传入整数。示例：a =
2020-09-08 00:07:44
322
原创 python特征工程之特征抽取
特征抽取（Feature extraction）：特征抽取则是将任意数据格式（例如文本和图像）转换为机器学习的数字特征。特征抽取在python scikit-learn中的API是：sklearn.feature_extraction1. 分类特征提取变量说明：DictVectorizer的处理对象是符号化(非数字化)的但是具有一定结构的特征数据，如字典等，将符号转成数字0/1表示# 定义一组字典列表，用来表示多个数据样本（每个字典代表一个数据样本）instance = [{'city':'b
2020-09-06 21:52:14
965
原创 np.random用法
np.random用法np.random.random() # 生成 (0,1)的随机数据的随机数组np.random.rand() # 生成随机数据的均匀分布np.random.randn(size = ()) # 生成一个符合标准正态分布的数组，与np.random.normal(0,1,size = ()）等价np.random.randint() # 生成固定范围内的，固定形状的数组numpy.random.normal(loc=0.0, scale=1.0, size=None)参
2020-09-06 07:55:16
826
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人