2016年10月_低调的洋仔

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hive数据仓库--UDF自定义函数以及其中的坑

一个简单的问题折腾了接近半天的时间，不过最终发现了问题出在哪里了，UDF这个是用户自定义函数，和sum等这种函数类似，主要作用是输入一个值，然后通过适当的处理后返回一个值。UDF倒是很简单的，基本上就是导入包，继承UDF类，实现一个evaluate方法就行了。UDF实例简单的一个测试程序，是分析下json格式的字符串，解析成对象数组的形式，然后做相应的调整。public class UDFTest

2016-10-31 23:22:57 4471

原创 Hive数据仓库--Java代码JDBC方式访问Hive中表的数据

通过Java中jdbc的方式去操作Hive表中的数据，这个方式和之前web中使用的jdbc方式访问数据库是一致的。基本流程：1. 加载驱动程序。2. 建立连接。3. 预编译sql语句。4. 提交执行获取结果。基本的程序如下：try { Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver"); String selectSq

2016-10-28 13:46:01 11880 9

原创 Hive数据仓库-Sqoop导入数据注意事项

注意事项一按照整张表导入的时候，是按照原来数据库中列的顺序进行赋值的，也就是说如果数据库中A,B两列的数据，在Hive中导入数据的表是B,A两列，这个时候B中实际存储的值仍然是数据库A中的值，而A中存储的是数据库B列的值。注意事项二日期形式的数据，在数据库中导入的时候，可能是因为格式的问题，我的日期后面多一个.0然后映射不到日期数据，解决办法是将日期格式的数据改为string类型的数据（Hive中

2016-10-27 12:28:29 5063 7

原创 Hive数据仓库-Sqoop将数据从Mysql导入Hive中

Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数　　--hive-home 重写$

2016-10-26 17:37:50 18655 9

原创 SSLException异常解读与解决

在读取一个比较有影响力的网站的API的时候，由于对方采用的是HTTPS的链接，而不是HTTP的链接，所以导致了如下的问题：javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair原本以为两者是一样的访问方式，所以出错主要还是在于自己，当然在没找到原因之前并没有向这个方面去想，这也是后来

2016-10-20 19:31:06 34633 3

原创 Spring配置文件打包到jar中无法加载问题之解决方案

最近再做一个项目，通过Spring整合Mybatis然后从一些网站上通过其API获取数据，我打算做成一个jar包然后通过定时任务来进行控制他执行的频率，每分钟都执行一次，我在编辑器里面运行的完全没问题的，后来打包试下效果怎么样，因为本身自己的机子就是linux系统，直接再自己的机子上先实验几天，看看运行的效果怎么样，结果，不管怎么弄总是会说spring的配置文件有问题，要么找不到要么说不对，找了各

2016-10-20 19:14:22 5035

转载 Java 内存区域和GC机制详解解读

这篇文章对于java虚拟机的内存管理机制进行讲解，我感觉内容很好很清晰，所以将文章转载过来，我建议读者可以静下心来读完。原文地址Java 内存区域和GC机制最详解。在这里我也自己写写个人的理解，供读者参考：一讲到内存，对于我们程序员来讲，我感觉想到的最多的可能是栈和堆了。堆栈栈：对于程序中的很多基本类型的数据比如：int、float等基本类型（除去String类型）的数据会直接将其存储在栈中，在栈

2016-10-11 19:39:35 3679

原创 Redis深入理解-数据结构篇（1）-简单动态字符串SDS

Redis没有直接使用C语言中的字符串，而是自己构建了SDS这样的一种简单动态字符串，并且将他作为Redis中字符串的默认的表示，个人认为，Redis并未完全抛弃C语言字符串，只不过是在C语言字符串的基础上，通过封装其他的属性，构造出一个更加高效的字符串的封装结构，在早些的版本中记录了其长度（实际使用了多少）、剩余空间、以及字符数组，最新的版本3.2.4中，已经对SDS做了一定的改动记录了长度、分配内存大小（除去‘\0’）、标志位（低三位表示类型，其余五位未使用）、以及字符数组。

2016-10-03 13:02:31 4759

请求转发与重定向详解代码

请求转发与重定向详解代码，解读工作流程,详细内容在我的博客中有！

2015-10-28

绚丽的时间轴源代码

绚丽的时间轴源代码，绝对绚丽多彩的源代码，直接可以运行的

2015-10-21

Hadoop2.4.1集群环境搭建

Hadoop2.4.1集群环境搭建，按照步骤进行操作应该可以很快解决集群环境的问题

2015-10-13

Servlet+API[China].chm

Servlet+API[China].chm )详细的API网络web开发靠他了

2015-10-12

数据结构课程设计

1.二叉树的操作 2.图的基本操作 3.二叉排序树 4.哈希表的操作 5.排序算法 6.进制转换 7.输入求和表达式 8.顺序表 9.稀疏矩阵 10.栈的基本操作 11.字符串操作等。

2015-08-29

24点游戏思路解析

24点游戏思路解析，帮你理顺24点游戏开发思路。

2015-08-29

hadoop中文版api

hadoop帮助你开发的Api,抓紧下载开发吧

2015-05-02

安卓开发指南

安卓开发文档详细的中文教材可以一睹，大家赶紧看啊看那===

2015-03-15

怎么向服务器提交用户名

怎么往服务器上传数据看看这个事例很容易就懂了

2015-03-15

二级文件系统课程设计

本程序设计了简单易用的二级文件系统，帮助大家度过课程设计难关，赶紧下载吧

2014-05-31

矩阵和求PI

矩阵和求PI　java

2013-11-29

数据库上机试验

数据库上级实验练习题目

2013-11-11

基本的数据库操作

本文件是一个数据库的基本操作涉及到外键等的操作

2013-10-28

C语言程序设计

C语言程序设计，帮你学习C的知识，的确很好的

2013-10-03

Access课程学习的全程课件

Access课程学习的全程课件，帮你系统的学习Access课程更加深入的学习吧

2013-10-01

Access2010基础教程

Access数据库2010基础教程，教你学会使用access

2013-09-19

XML详解教程

XML详解教程，帮您解决xml学习中的困惑，还在等什么赶紧来下载哦哦

2013-08-25

SQL Promot 辅助软件

SQL Prompt[1]是一款拥有SQL智能提示功能的SQL Server和VS插件。SQL Prompt能根据数据库的对象名称，语法和用户编写的代码片段自动进行检索，智能的为用户提供唯一合适的代码选择。自动脚本设置为用户提供了简单的代码易读性--这在开发者使用的是不大熟悉的脚本时尤其有用。SQL Prompt是立即可用的且能极大的提高生产率。此外，用户还可根据其需要对之进行自定义，使之以自己想要的方式运行。使用SQL Prompt可以极大的提高用户的生产率，并明显的减少花在键盘上的时间。

2013-08-04

JSP开发API文档

JSP开发API文档，英文的文档不妨看看时候长了自然就习惯了

2013-08-02

Log4j经典总结

Log4j经典总结,对于Java日志的管理经典介绍

2013-08-02

Lucence技术总结

Lucence技术总结，更便利你的编程之路。你还在犹豫什么？

2013-07-29

Luence中文API

Luence中文API，该API带给你的将是更便捷的编程，赶紧来下载吧

2013-07-29

神一样的PPT模版

PPT模版经典模式如你所愿，各种可以套用，还有经典的额动画效果

2013-07-24

YDT3801-2020电信网和互联网数据安全风险评估实施方法.pdf

2022-03-08

commons-httpclient.jar

commons-httpclient.jar HttpClient必备的包

2016-10-12

轻量级Java Web开发整合入门

轻量级Java Web开发整合入门,完整版本

2016-08-04

JAX-WS 2.2 RI 所包含的JAR包集合

JAX-WS 2.2 RI 所包含的JAR包集合，包含25个JAR包，列表如下： FastInoset.jar gmbal-api-only.jar ha-api.jar javax.annotation.jar javax.mail_1.4.jar jaxb-api.jar jaxb-impl.jar jaxb-xjc.jar jaxws-api.jar jaxws-rt.jar jaxws-rt-javadoc.jar jaxws-tools.jar jaxws-tools-javadoc.jar jsr181-api.jar management-api.jar mimepull.jar policy.jar saaj-api.jar saaj-impl.jar stax-ex.jar stax2-api.jar stax2-api-source.jar streambuffer.jar woodstox-core-asl.jar woodstox-core-asl-source.jar

2016-07-26

jax-ws与spring整合jar包下载

jax-ws与spring整合jar包下载 jax-ws与spring整合时需要添加两个jar包，即jaxws-spring-1.8.jar和xbean-spring-3.6.jar

2016-07-26

hadoop2.2.0伪分布式搭建

hadoop2.2.0伪分布式搭建,按照这个步骤来操作基本上就可以实现的。

2016-02-29

HiberTest使用HQL动态构建对象

当你在实际的开发过程中，有时候查询的结果只是需要查询一张表中的一部分数据，而不是所有的数据，比如说，我现在有一个需求是这样的：我只需要user的id和name这两个属性的数据，其他的数据暂时不需要，那么这时候如果按照原来（假设原来user表中数据包括：userId,userName,teleNum,email等等的个人信息）的对象直接将整个对象全部获取到，这是牺牲性能作为代价的，一个user的时候感觉不到速度的差距，但是上千万的数据的时候，速度差距是明显的，那么在这里也就是说动态的利用你需要的数据构造对象是很有必要的。

2016-02-23

Hibernate使用JPA注解代码

Hibernate5.1.fianl整合JPA注解方式异常：persistence.Table.indexes()[Ljavax/persistence/Index;

2016-02-16

[MongoDB权威指南].(美).霍多罗夫.(美).迪洛尔夫.(译)程

NoSQL数据库与传统的关系型数据库相比，它具有操作简单、完全免费、源码公开、随时下载等特点，并可以用于各种商业目的。这使NoSQL产品广泛应用于各种大型门户网站和专业网站，大大降低了运营成本。 2010年，随着互联网Web2.0网站的兴起，NoSQL在国内掀起一阵热潮，其中风头最劲的莫过于MongoDB了。越来越多的业界公司已经将MongoDB投入实际的生产环境，很多创业团队也将MongoDB作为自己的首选数据库，创造出非常之多的移动互联网应用。

2016-02-02

Weblogic使用手册大全详解(中文)

WebLogic是美国Oracle公司出品的一个application server，确切的说是一个基于JAVAEE架构的中间件，WebLogic是用于开发、集成、部署和管理大型分布式Web应用、网络应用和数据库应用的Java应用服务器。将Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中。 WebLogic是美商Oracle的主要产品之一，系并购BEA得来。是商业市场上主要的Java（J2EE）应用服务器软件（application server）之一，是世界上第一个成功商业化的J2EE应用服务器, 已推出到12c(12.1.3) 版。而此产品也延伸出WebLogic Portal，WebLogic Integration等企业用的中间件（但当下Oracle主要以Fusion Middleware融合中间件来取代这些WebLogic Server之外的企业包），以及OEPE(Oracle Enterprise Pack for Eclipse)开发工具。