2018年10月_刘sir--

10月 09月 06月 05月

原创 Hive映射Hbase表的几种方式

1.Hive内部表，语句如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATETABLEods.s01_buyer_calllogs_info_ts( keystring comment"h...

2018-10-29 10:15:29 3033

原创 hive整合hbase

1.1 hive与hbase版本兼容性Hive版本 hive-1.2.1、hbase的版本hbase-1.2.1hbase与hive哪些版本兼容？hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容。 hive1.x与hbase0.98.x或则更低版本是兼容的。 hive2.x与hbase1.x及比hbase1.x更高版本兼容。如果当...

2018-10-29 09:00:56 226

原创 spark sql脚本

############### 客户基本属性模型表脚本开发###############!/bin/shyesterday=`date -d '-1 day' "+%Y-%m-%d"`if [ $1 ];then yesterday=$1fiSPARK_SUBMIT_INFO="/var/local/spark/bin/spark-sql --master spark:/...

2018-10-28 09:50:05 4391 1

原创 hive中操作表语句

添加分区并指定数据所在的位置alter table bdm.itcast_bdm_order add partition (dt='2017-01-01') location '/business/itcast_bdm_order/2017-01-01';删除分区alter table itcast_bdm_order drop partition(dt='2017-01-01')...

2018-10-28 09:17:26 141

原创 windows编写的shell脚本到linux环境下运行

在windows下编写shell脚本回车符是\n\r，而linux下的回车符是\n，所以在linux下运行脚本的时候，需要修改下脚本的的编码格式，vi 脚本，底行模式，输入set fileformat=unix ...

2018-10-27 19:54:58 4229

原创多线程并发情况下使用日期转换函数

最近，要对每条log进行日期过滤，由于log日期是这种样式的“2018-08-03 00:00:00”，需要在过滤的时候将其转化成long类型进行比较筛选，这时候就要用到SimpleDateFormat了，但是，由于rdd有多个分区，各个分区并行执行，考虑到线程安全和资源问题，最后使用了第三方jar包的FastDateFormat val dateFormat = FastDateForm...

2018-10-20 20:20:46 643

aws 助理架构师认证模拟试题

内有360道题，每道题型下附有说明，说明包含十分详细、有aws官方文档链接、有youtube讲解的说明、有对比图片。本人考证通过刷的模拟题就是这360道。

2020-05-28

可以下载udemy上的视频，以及YouTube Download free videos from 100+ websites like eHow. Download video in 4K 4096p, HD 1080p, HD 720p, 480p, 360p, 240p. One-step to download and convert video to popular video or audio format. Built-in player plays downloaded movies, music in popular format. Support video download add-on for Firefox, Chrome, Safari. Support breakpoint resume, keep download history, action after download.

2020-04-02