- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 腾讯企业邮发送邮件 java版
背景： 由于spark streaming程序需要保证 1*24 小时，不间断运行的，为了第一时间知道程序是否出错，所以采用了出错发送邮件这一策略，而公司恰恰又使用了腾讯企业邮，网上也有一些关于腾讯企业邮的例子，但不那么尽人意，s所以特地在此整理一下！各位看官，让我们一起畅游在代码的海洋里吧！嘎嘎嘎。。。package test.util;import com.sun.mail.util.Mail
2016-11-26 16:11:07
9075
原创 公司内部邮箱服务器发送邮件 java版
1.用公司自己内部的邮件服务器发送邮件package test.util;import org.apache.log4j.Logger;import javax.activation.DataHandler;import javax.activation.FileDataSource;import javax.mail.*;import javax.mail.internet.*;impor
2016-11-26 15:59:00
12272
6
原创 kafka权限认证
背景： 最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制。 下面各位看官跟着小二一起开始kafak权限控制之旅吧！嘎嘎嘎！介绍： kafka权限控制整体可以分为三种类型： 1.基于SSL 2.基于Kerberos(本文不与讨论) 3.基于acl的 本文主要基于1
2016-11-14 18:16:01
25039
7
原创 sqoop原理
sqoop,各位看官基本上都了解或者听说过，小二就不进行废话了。另外基于国内大部分用的为CDH，小二就想说一点：CDH中的sqoop2其实是apace版的sqoop1，聪明的看官不要被表面所迷惑了.第一关：无图无真相 第二关：无错不欢 一般会有三类错误 1.缺少jdbc导致错误 2.无法解析的错误 一般会有一下这几种情况： a.分割符的问题 要么
2016-11-11 17:59:00
1478
原创 hive原理分析
基于hive1.1（从hive2.0开始，hive开始基于内存了,底层的实现框架不在基于MR）1. 由客户端提供查询语句，提交给Hive，Hive再交给Driver处理（1，Compiler先编译，编译时要从Metastore中获取元数据信息，生成逻辑计划；2，生成物理计划；3，由Driver进行优化；4，Executor执行时对物理计划再进行分解成Job，并将这些Job提交给MR的JobT
2016-11-09 14:32:10
382
原创 hive动态分区
hive分区可以方便快速定位，查找( 设置分区，可以直接定位到hdfs上相应的文件目录下，避免全表扫描)。 hive分区可以分为静态分区、动态分区，另外静动态分区又都可以分为复合分区和单分区表。下面我们以动态复合分区为例，来记述一下分区的建立。下面，让我们一起开始hive动态复合分区的冒险之旅吧！吼吼 基于hive1.11.建分区表create table scan_details(logT
2016-11-09 14:18:33
718
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人