1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
-- case1 --
 
--========== order_created ==========--
/*
10703007267488    2014-05-01 06:01:12.334+01
10101043505096    2014-05-01 07:28:12.342+01
10103043509747    2014-05-01 07:50:12.33+01
10103043501575    2014-05-01 09:27:12.33+01
10104043514061    2014-05-01 09:03:12.324+01
*/
CREATE  EXTERNAL  TABLE  order_created (
     orderNumber STRING
   , event_time  STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_created' ;
 
CREATE  EXTERNAL  TABLE  order_created_partition (
     orderNumber STRING
   , event_time  STRING
)
PARTITIONED  BY  (event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_created_partition' ;
 
CREATE  TABLE  order_created_dynamic_partition (
     orderNumber STRING
   , event_time  STRING
)
PARTITIONED  BY  (event_month string)
;
insert  into  table  order_created_dynamic_partition PARTITION (event_month)
select  orderNumber, event_time, substr(event_time, 1, 7)  as  event_month  from  order_created;
set  hive. exec . dynamic .partition.mode=nonstrict;
 
/*
     hive. exec . dynamic .partition= false
     hive. exec . dynamic .partition.mode=strict
     hive. exec . max . dynamic .partitions.pernode=100    Maximum number  of  dynamic  partitions allowed  to  be created  in  each mapper/reducer node
     hive. exec . max . dynamic .partitions=1000           Maximum number  of  dynamic  partitions allowed  to  be created  in  total
     hive. exec . max .created.files=100000              Maximum number  of  HDFS files created  by  all  mappers/reducers  in  a MapReduce job
     hive.error. on .empty.partition= false
*/
 
select  INPUT__FILE__NAME, ordernumber, event_time, BLOCK__OFFSET__INSIDE__FILE / (length(ordernumber) + length(event_time) + 2) + 1  from  order_created_dynamic_partition;
select  INPUT__FILE__NAME, ordernumber, event_time, round(BLOCK__OFFSET__INSIDE__FILE / (length(ordernumber) + length(event_time) + 2) + 1)  from  order_created_dynamic_partition;
 
desc  formatted order_created_dynamic_partition;
desc  formatted order_created_dynamic_partition partition (event_month= '2014-05' );
 
CREATE  TABLE  order_created_dynamic_partition_parquet (
     orderNumber STRING
   , event_time  STRING
)
PARTITIONED  BY  (event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
STORED  AS  parquet;
 
MSCK REPAIR  TABLE  order_created_dynamic_partition_parquet;
 
-- set to text file format, bug in hive
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-06' )  SET  SERDE  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' ;
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-06' )  SET  FILEFORMAT textfile;
-- impala
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-06' )  SET  FILEFORMAT textfile;
 
-- set to parquet file format, hive <= 0.12
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-07' )  SET  SERDE  'parquet.hive.serde.ParquetHiveSerDe' ;
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-07' )  SET  FILEFORMAT INPUTFORMAT  'parquet.hive.DeprecatedParquetInputFormat'  OUTPUTFORMAT  'parquet.hive.DeprecatedParquetOutputFormat' ;
-- impala or hive 0.13
ALTER  TABLE  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-07' )  SET  FILEFORMAT parquet;
 
insert  into  table  order_created_dynamic_partition_parquet PARTITION (event_month= '2014-07' )  select  orderNumber, event_time  from  order_created;
 
--========== order_picked ==========--
/*
10703007267488    2014-05-01 07:02:12.334+01
10101043505096    2014-05-01 08:29:12.342+01
10103043509747    2014-05-01 10:55:12.33+01
*/
CREATE  EXTERNAL  TABLE  order_picked (
     orderNumber STRING
   , event_time  STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_picked' ;
 
--========== order_shipped ==========--
/*
10703007267488    2014-05-01 10:00:12.334+01
10101043505096    2014-05-01 18:39:12.342+01
*/
CREATE  EXTERNAL  TABLE  order_shipped (
     orderNumber STRING
   , event_time  STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_shipped' ;
 
--========== order_received ==========--
/*
10703007267488    2014-05-02 12:12:12.334+01
*/
CREATE  EXTERNAL  TABLE  order_received (
     orderNumber STRING
   , event_time  STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_received' ;
 
--========== order_cancelled ==========--
/*
10103043501575    2014-05-01 12:12:12.334+01
*/
CREATE  EXTERNAL  TABLE  order_cancelled (
     orderNumber STRING
   , event_time  STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY  '\t'
LOCATION  '/tmp/db_case1/order_cancelled' ;
 
--=====================================--
 
CREATE  TABLE  order_tracking  AS
SELECT  orderNumber
      ,  max ( CASE  WHEN  type_id= "order_created"    THEN  event_time  ELSE  '0'  END )  AS  order_created_ts
      ,  max ( CASE  WHEN  type_id= "order_picked"     THEN  event_time  ELSE  '0'  END )  AS  order_picked_ts
      ,  max ( CASE  WHEN  type_id= "order_shipped"    THEN  event_time  ELSE  '0'  END )  AS  order_shipped_ts
      ,  max ( CASE  WHEN  type_id= "order_received"   THEN  event_time  ELSE  '0'  END )  AS  order_received_ts
      ,  max ( CASE  WHEN  type_id= "order_cancelled"  THEN  event_time  ELSE  '0'  END )  AS  order_cancelled_ts
FROM  (
     select  orderNumber,  "order_created"    as  type_id, event_time  FROM  order_created
   UNION  ALL
     select  orderNumber,  "order_picked"     as  type_id, event_time  FROM  order_picked
   UNION  ALL
     select  orderNumber,  "order_shipped"    as  type_id, event_time  FROM  order_shipped
   UNION  ALL
     select  orderNumber,  "order_received"   as  type_id, event_time  FROM  order_received
   UNION  ALL
     select  orderNumber,  "order_cancelled"  as  type_id, event_time  FROM  order_cancelled
) u
group  by  orderNumber;
 
select  *  from  order_tracking  order  by  order_created_ts limit 5;
 
--=====================================--
 
CREATE  TABLE  order_tracking_join  AS
select  t1.orderNumber
      , t1.event_time  as  order_created_ts
      , t2.event_time  as  order_picked_ts
      , t3.event_time  as  order_shipped_ts
      , t4.event_time  as  order_received_ts
      , t5.event_time  as  order_cancelled_ts
from  (
   select  ordernumber,  max (event_time)  as  event_time  from  order_created  group  by  ordernumber
) t1
left  outer  join  (
   select  ordernumber,  max (event_time)  as  event_time  from  order_picked  group  by  ordernumber
) t2
on  t1.ordernumber = t2.ordernumber
left  outer  join  (
   select  ordernumber,  max (event_time)  as  event_time  from  order_shipped  group  by  ordernumber
) t3
on  t1.ordernumber = t3.ordernumber
left  outer  join  (
   select  ordernumber,  max (event_time)  as  event_time  from  order_received  group  by  ordernumber
) t4
on  t1.ordernumber = t4.ordernumber
left  outer  join  (
   select  ordernumber,  max (event_time)  as  event_time  from  order_cancelled  group  by  ordernumber
) t5
on  t1.ordernumber = t5.ordernumber;
 
select  *  from  order_tracking_join  order  by  order_created_ts limit 5;
 
--=====================================--
 
select  orderNumber
      , order_created_ts
      , order_picked_ts
      , order_shipped_ts
      , order_received_ts
      , order_cancelled_ts
   from  order_tracking
  WHERE  order_created_ts !=  '0'  AND  order_cancelled_ts =  '0'
    AND  (
     COALESCE (unix_timestamp(order_picked_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 2 * 60 * 60
     OR
     COALESCE (unix_timestamp(order_shipped_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 4 * 60 * 60
     OR
     COALESCE (unix_timestamp(order_shipped_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 48 * 60 * 60
    )
;
 
select  orderNumber
      , order_created_ts
      , order_picked_ts
      , order_shipped_ts
      , order_received_ts
      , order_cancelled_ts
   from  order_tracking_join
  WHERE  order_created_ts  IS  NOT  NULL  AND  order_cancelled_ts  IS  NULL
    AND  (
     COALESCE (unix_timestamp(order_picked_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 2 * 60 * 60
     OR
     COALESCE (unix_timestamp(order_shipped_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 4 * 60 * 60
     OR
     COALESCE (unix_timestamp(order_shipped_ts,  'yyyy-MM-dd HH:mm:ss.S' ), 0) - unix_timestamp(order_created_ts,  'yyyy-MM-dd HH:mm:ss.S' ) > 48 * 60 * 60
    )
;


获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】
A 代码生成器(开发利器);全部是源码  
   增删改查的处理类，service层，mybatis的xml，SQL( mysql   和oracle)脚本,   jsp页面 都生成
   就不用写搬砖的代码了,生成的放到项目里，可以直接运行
B 阿里巴巴数据库连接池druid;
  数据库连接池  阿里巴巴的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势
C 安全权限框架shiro ;
  Shiro 是一个用 Java 语言实现的框架，通过一个简单易用的 API 提供身份验证和授权，更安全，更可靠
D ehcache 分布式缓存;
  是一个纯Java的进程内缓存框架，具有快速、精干等特点,广泛使用的开源Java分布式缓存。
E 微信接口开发（后续会加入Activiti5 工作流 ）赠送一个jbpm工作流大型ERP系统(含OA、财务、分销)参考学习
F WebSocket 通信技术 即时通讯功能
-------------------------------------------------------------------------------------------------------------------------
1. 模块化、服务化，流程化，耦合度低、扩展性好，灵活度高，工具类封装完整，干净利索，调用简单方便
2. 提供Rest服务，支持APP手机应用(android和ios)接口、php、.net、易语言、VB等第三方接口调用
3. 全新高大尚HTML5+css3.0+bootstrap响应式开发界面UI，( 手机 PC 平板 截图在下面)、前沿.  spring restful 风格
4. 框架搭建完善成熟，在此基础上做过很多项目，系统具有并发处理、分布式、稳定性。
5. 系统功能完善，此为框架平台，文档、注释齐全，提供技术支持，专门供二次开发
6. 在此基础上可二次开发(OA、ERP、CRM ,医疗管理、金融、网站后台、APP后台、电子商务、商城(赠送UI)等等
7.我们这边是公司，主要业务是定制开发,  此系统为我们平时给客户做项目用的，经过很多项目实战考验
  -------------------------------------------------------------------------------------------------------------------------系统模块
1. 组织管理：角色管理，分角色组和成员，有组权限和成员权限。
2. 系统用户：对各个基本的组会员增删改查，单发、群发邮件短信，导入导出excel表格，批量删除
3. 会员管理：对前台用户管理，分配会员级别，到期时间，状态，联系信息等资料
4. 菜单管理：增删改查菜单 ztree（自定义菜单）业务菜单和系统菜单分离
5. 数据字典：无限级别，支持多级别无限分类。内设编号，排序等
6. 系统设置：修改系统名称，邮件服务器配置，短信账号设置，图片水印配置，微信配置
7. 代码生成：打开代码生成器模块     
8. 图库管理：对批量上传的图片统一管理
9. 性能监控：监控整个系统的性能，SQL监控，SQL防火墙，URL监控，SPRING监控，SESSION监控等
10. 接口测试：POST or GET 方式检测系统接口，参数加密，json返回结果，计算服务器响应时间
11. 发送邮件：单发，群发邮件   
12. 置二维码：生成 or  解析二维码     
13.地图工具：经纬度操作
14.即时通讯：打开即时聊天窗口
15.在线管理：(统计在线人数和在线列表，可强制某用户下线)，同一用户只能在一个客户端登录
16.打印测试：页面打印预览测试

-------------------------------------------------------------------------------------------------------------------------
菜单权限：分配给每个角色不同的菜单权限, 每个角色看到的菜单不同
按钮权限：独立分配不同的角色不同的功能权限，增删改查权限分配具体到不同的菜单
支持多用户分权限管理后台,  权限具体到不同的菜单不同的按钮
--------------------------------------------------------------------------------------------------------------信息模块(小项目代码中)
新闻管理：新闻的维护、发布、权重排序等 采用百度ueditor富文本框
公告管理：公告的维护、发布
广告管理：广告的维护、发布，状态维护，上传广告图片
友情链接：友情链接的维护、状态维护
特别推荐：特别推荐、状态维护
微信模块
关注回复：微信用户关注公众号回复
文本回复：匹配关键词进行文本回复
图文回复：匹配关键词进行图文回复
应用命令：匹配关键词进行命令操作，例如微信发送命令，执行服务器重启、关机、锁定等操作
-------------------------------------------------------------------------------------------------------------------------
技术点
1. 导出 导入 excel 文件
2  导出word文件
3. IO 流上传下载文件
4. 群发邮件，可以发html、纯文本格式，可以发给任意邮箱(实现批量发送广告邮件)
5. 群发or单独 发送短信，支持两种第三方短信商接口
6. spring   aop  事物处理
7. 代码生成器 (freemarker)， 代码 zip 压缩打包
8. MD5加密 SHA加密（登录密码用此加密）接口加密身份校验
9. 数据库连接池  阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势,支持并发
10.加入安全框架 shiro (登录授权)(session管理)
11.根据汉字 解析汉字的全拼(拼音)和首字母(导入excel到用户表，根据用户的汉字姓名生成拼音的用户名)
12.app接口@ResponseBody（支持与其它语言数据交互）
13.极光推送 (推送给APP及时消息，APP不启动也能收到)
14.微信接口(身份验证，文本、图文回复等) 微信远程控制服务器重启、锁定、其它应用程序
15.java Quartz 定时器 （定时执行某程序，精确到秒，可设置周期）
16.java websocket 即时通讯技术，点对点，群聊，单聊，EXT4对话框
17.新增Lucene全文检索
18.Base64传输图片
19.图片加水印(图片水印，文字水印）
20.生成 or  解析 二维码
21.HTML5 + JAVAEE  WebSocket 通信技术，WebSocket 验证用户登录，强制某用户下线
22.批量异步上传图片，可预览，有进度条，支持拖拽上传(百度webuploader )。列表动态滑动放大展示。
23.ehcache 自定义二级缓存 ，选择缓存存放目录，处理并发，增加系统性能
24.服务器内部GET POST 请求
25.uploadify 上传插件，单条、批量上传多线程，带进度条，异步，图片、视频, 其它文件格式均可上传
26.地图选点获取经纬度坐标，根据俩经纬度计算距离
27.tab标签页面功能，标签自由切换，不重复操作数据库
-------------------------------------------------------------------------------------------------------------------------
系统框架为：springmvc + mybaits 3.2 有 maven 版本和 非maven 版本 jdk 1.6 1.7 1.8  tomcat 6 7 8
数据库：oracle 版本 和 msyql 版本 ( spring3.0 和4.02  mybaits 3.2)     开发工具：myeclipse  eclipse 均可
赠送 同UI      springmvc + hibernate  SpringSecurity Lucene Quartz MySQL、Oracle、SQL Server
赠送 同UI  maven 分模块项目 springmvc + mybatis
-------------------------------------------------------------------------------------------------------------------------
系统演示视频：链接: http://pan.baidu.com/s/1kThEHb5 密码: t987 之前录的(有点粗糙, 凑合着看)
http://www.tudou.com/programs/view/7z9L6IdngtM/
http://www.tudou.com/programs/view/eOOWlc3BB5I/
http://www.tudou.com/programs/view/_k7hjoF8Dp8/
获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】
--------------------------------------------------------------------------------------------------------------------
PC实物截图如下
登录界面背景用HTML5特效自动切换(百叶窗，幕布等多种切换方式)




















获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】