![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
深漠大侠
这个作者很懒,什么都没留下…
展开
-
hive,hbase,impala之间的对比详解
hive,hbase,impala之间的对比详解这里写自定义目录标题 hbase在三者中更注重的是存储,它实现了类似mysql的double write机制,但是它是一种NoSQL的数据库,并且是可以支持列式存储的,算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。 hbase是在hdfs基础之上的,可以算是数据的一种组织方式,是一种基于...原创 2020-03-25 22:06:53 · 682 阅读 · 0 评论 -
四--02、商品类目码表.sql
-------商品类目码表 create database if not exists gdm; create external table if not exists gdm.itcast_gdm_category_code( third_category_id bigint,–三级分类ID third_category_name string,–三级分类名称 second_category_i...原创 2019-04-18 22:42:59 · 840 阅读 · 0 评论 -
04、客户购买类目表
–用户画像 客户购买类目表 create database if not exists gdm; CREATE TABLE if not exists gdm.itcast_gdm_user_buy_category ( user_id STRING, --客户ID first_category_id BIGINT, --一级分类ID first_ca...原创 2019-04-15 21:01:28 · 203 阅读 · 0 评论 -
04、客户消费订单表模型开发.sql
–用户画像 客户消费订单表模型开发 create database if not exists gdm; create table if not exists gdm.itcast_gdm_user_consume_order( user_id string, --客户ID first_order_time timestamp, --第一次消费时间 last_order_time ti...原创 2019-04-15 21:00:33 · 242 阅读 · 0 评论 -
03、购物车订单表.sql
------购物车订单表BDM层 create database if not exists bdm; create external table if not exists bdm.itcast_bdm_order_cart( id bigint,–ID session_id string,–sessionID user_id string,–用户ID goods_id string,–商品ID...原创 2019-04-15 20:59:38 · 2505 阅读 · 0 评论 -
02、客户订单位置模型表.sql
-------客户订单地址模型表 create database if not exists gdm; create table if not exists gdm.itcast_gdm_user_order_addr_model( user_id string,–客户ID order_addr bigint,–1表示学校、2表示单位、3表示家里 user_order_flag string--...原创 2019-04-15 20:59:06 · 157 阅读 · 0 评论 -
02、客户消费订单表模型
–用户画像-客户消费订单表模型 create database if not exists gdm; create table if not exists gdm.itcast_gdm_user_consume_order( user_id string, --客户ID first_order_time timestamp, --第一次消费时间 last_order_time t...原创 2019-04-15 20:58:26 · 384 阅读 · 0 评论 -
1、sql案例
#创建表语句 create table employee ( empid int, deptid int, sex string, salary double ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; #准备数据 1,10,female,5500.0 2,10,male,4500.0 3,20,female,1900.0 4,20,male...原创 2019-04-15 20:57:27 · 169 阅读 · 0 评论 -
03、订单商品信息表.sql
-----订单商品信息表BDM层 create database if not exists bdm; create external table if not exists bdm.itcast_bdm_order_goods( user_id string,–用户ID order_id string,–订单ID order_no string,–订单号 sku_id bigint,–SKU编号...原创 2019-04-15 20:56:51 · 3852 阅读 · 0 评论 -
02、订单宽表模型开发.sql
#*************************** #** 功能描述:订单宽表模型开发 #*************************** –订单主要信息表BDM层 create database if not exists bdm; create external table if not exists bdm.itcast_bdm_order( order_id string, ...原创 2019-04-15 20:50:19 · 905 阅读 · 0 评论 -
02、客户基本属性模型表开发 itcast_gdm_user_basic
#*************************** #** 文件名称:itcast_gdm_user_basic #** 功能描述:客户基本属性模型表 #** #*************************** –客户基本属性模型表BDM层 create database if not exists bdm; create external table if not exists b...原创 2019-04-15 20:46:29 · 312 阅读 · 0 评论 -
01、用户基本属性表及模型开发 itcast_gdm_user_basic.sh
#!/bin/sh #获取昨天的时间 yesterday=date -d '-1 day' "+%Y-%m-%d" #指定运行哪天的数据 if [ $1 ];then yesterday=$1 fi #定义任务提交的脚本 SPARK_SUBMIT_INFO="/export/servers/spark/bin/spark-sql --master spark://hadoop-01:7077 --...原创 2019-04-15 20:37:37 · 252 阅读 · 0 评论 -
spark性能优化点(超详解!!!珍藏版!!!)
spark性能优化点 分配更多的资源 1.1 分配哪些资源 1.2 在哪里可以设置这些资源 1.3 参数调节到多大,算是最大 分配更多的资源: 它是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的, 基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的spark作业之后,进行性能调 优的时候,首先第一步,就是要来调节最优的资源配置;在这个基...原创 2019-02-21 09:25:33 · 809 阅读 · 0 评论