spark
深漠大侠
这个作者很懒,什么都没留下…
展开
-
hive,hbase,impala之间的对比详解
hive,hbase,impala之间的对比详解这里写自定义目录标题 hbase在三者中更注重的是存储,它实现了类似mysql的double write机制,但是它是一种NoSQL的数据库,并且是可以支持列式存储的,算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。 hbase是在hdfs基础之上的,可以算是数据的一种组织方式,是一种基于...原创 2020-03-25 22:06:53 · 662 阅读 · 0 评论 -
四--02、商品类目码表.sql
-------商品类目码表create database if not exists gdm;create external table if not exists gdm.itcast_gdm_category_code(third_category_id bigint,–三级分类IDthird_category_name string,–三级分类名称second_category_i...原创 2019-04-18 22:42:59 · 814 阅读 · 0 评论 -
04、客户购买类目表
–用户画像 客户购买类目表create database if not exists gdm;CREATE TABLE if not exists gdm.itcast_gdm_user_buy_category (user_id STRING, --客户IDfirst_category_id BIGINT, --一级分类IDfirst_ca...原创 2019-04-15 21:01:28 · 197 阅读 · 0 评论 -
04、客户消费订单表模型开发.sql
–用户画像 客户消费订单表模型开发create database if not exists gdm;create table if not exists gdm.itcast_gdm_user_consume_order(user_id string, --客户IDfirst_order_time timestamp, --第一次消费时间last_order_time ti...原创 2019-04-15 21:00:33 · 236 阅读 · 0 评论 -
03、购物车订单表.sql
------购物车订单表BDM层create database if not exists bdm;create external table if not exists bdm.itcast_bdm_order_cart(id bigint,–IDsession_id string,–sessionIDuser_id string,–用户IDgoods_id string,–商品ID...原创 2019-04-15 20:59:38 · 2485 阅读 · 0 评论 -
02、客户订单位置模型表.sql
-------客户订单地址模型表create database if not exists gdm;create table if not exists gdm.itcast_gdm_user_order_addr_model(user_id string,–客户IDorder_addr bigint,–1表示学校、2表示单位、3表示家里user_order_flag string--...原创 2019-04-15 20:59:06 · 148 阅读 · 0 评论 -
02、客户消费订单表模型
–用户画像-客户消费订单表模型create database if not exists gdm;create table if not exists gdm.itcast_gdm_user_consume_order(user_id string, --客户IDfirst_order_time timestamp, --第一次消费时间last_order_time t...原创 2019-04-15 20:58:26 · 379 阅读 · 0 评论 -
1、sql案例
#创建表语句create table employee(empid int,deptid int,sex string,salary double)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘,’;#准备数据1,10,female,5500.02,10,male,4500.03,20,female,1900.04,20,male...原创 2019-04-15 20:57:27 · 159 阅读 · 0 评论 -
03、订单商品信息表.sql
-----订单商品信息表BDM层create database if not exists bdm;create external table if not exists bdm.itcast_bdm_order_goods(user_id string,–用户IDorder_id string,–订单IDorder_no string,–订单号sku_id bigint,–SKU编号...原创 2019-04-15 20:56:51 · 3803 阅读 · 0 评论 -
02、订单宽表模型开发.sql
#***************************#** 功能描述:订单宽表模型开发#***************************–订单主要信息表BDM层create database if not exists bdm;create external table if not exists bdm.itcast_bdm_order(order_id string, ...原创 2019-04-15 20:50:19 · 895 阅读 · 0 评论 -
02、客户基本属性模型表开发 itcast_gdm_user_basic
#***************************#** 文件名称:itcast_gdm_user_basic#** 功能描述:客户基本属性模型表#** #***************************–客户基本属性模型表BDM层create database if not exists bdm;create external table if not exists b...原创 2019-04-15 20:46:29 · 308 阅读 · 0 评论 -
01、用户基本属性表及模型开发 itcast_gdm_user_basic.sh
#!/bin/sh#获取昨天的时间yesterday=date -d '-1 day' "+%Y-%m-%d"#指定运行哪天的数据if [ $1 ];thenyesterday=$1fi#定义任务提交的脚本SPARK_SUBMIT_INFO="/export/servers/spark/bin/spark-sql --master spark://hadoop-01:7077 --...原创 2019-04-15 20:37:37 · 244 阅读 · 0 评论 -
spark性能优化点(超详解!!!珍藏版!!!)
spark性能优化点分配更多的资源1.1 分配哪些资源1.2 在哪里可以设置这些资源1.3 参数调节到多大,算是最大分配更多的资源:它是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的spark作业之后,进行性能调优的时候,首先第一步,就是要来调节最优的资源配置;在这个基...原创 2019-02-21 09:25:33 · 798 阅读 · 0 评论