- 博客(20)
- 资源 (36)
- 收藏
- 关注
原创 hive表操作(一)——内部表和外部表的创建于数据导入
hive表操作(一)——内部表和外部表的创建于数据导入本文主要介绍通过hive建立内部表和外部表,并且向表中导入数据。本文阅读前提:1、正常运行hadoop集群。2、正常运行hive。首先说一下内部表和外部表的区别。内部表的生命周期以及数据都由hive进行管理,换句话说就是内部表的表结构和表中的数据都是由hive进行管理的。如果删除了内部表,那么内部表中的数据也会别删除
2017-01-21 14:22:17 9748
原创 bootstrap配合Masonry插件实现瀑布式布局
bootstrap配合Masonry插件实现瀑布式布局本文主要参考:http://www.jq22.com/jquery-info362问题是这样的,使用bootstrap的栅格进行布局的时候,如果大小超过了,会自动的转到下一行,但是在显示图片的时候就会出现缝隙,下面介绍masonry进行缝隙的填补。好,下面上货。1、首先是html<!DOCTYPE H
2017-01-18 13:50:44 3469
原创 hive创建删除数据库——hive CLI方式和脚本方式
hive创建删除数据库——hive CLI方式和脚本方式本文主要介绍如何通过hive CLI方式和脚本方式进行数据库的创建和删除。本文阅读前提:1、正常运行hadoop环境2、已经配置好hive(可以参考:http://blog.csdn.net/wild46cat/article/details/54598880)好,下面上货。一、使用hiveCLI方式进行数据库
2017-01-18 11:17:04 1487
原创 hive安装——metadata存储在mysql中
hive安装——metadata存储在mysql中本文介绍如何启动hive,并且把元数据存储在mysql中。本文阅读前提:1、能够运行的hadoop集群。好,下面上货。1、首先需要下载编译好的hive。官网地址:http://mirrors.cnnic.cn/apache/hive/2、运行hadoop集群(略,可以参考http://blog.csd
2017-01-18 10:25:21 2587
原创 webService学习(三)—— 部署webService到tomcat上
webService学习(三)—— 部署webService到tomcat上本文阅读前提:1、能够部署本地的webService2、能够编写客户端调用webService。(可以参考文章:http://blog.csdn.net/wild46cat/article/details/54572361和http://blog.csdn.net/wild46cat/article/det
2017-01-16 17:16:42 27407 1
原创 webService学习(二)—— 调用自定义对象参数
webService学习(二)—— 调用自定义对象参数本文主要内容:1、如何通过idea进行webService Client的简单实现(不再使用wsimport的方式,其实是ide帮我们做了)2、在webservice中调用自定义参数(自定义类)。好,下面上货。一、在idea的帮助下使用webService Client。首先需要感谢一下文章:http
2017-01-16 11:34:44 55904
原创 webService学习(一)—— hello world
webService学习(一)—— hello world下面介绍一个简答的webService,同时包含调用过程。1、首先新建一个项目:修改代码:package com.xueyoucto.xueyou;import javax.jws.WebService;import javax.xml.ws.Endpoint;/** * Created by Administr
2017-01-14 16:39:28 5408
原创 mysql 创建删除用户并授权
mysql 创建删除用户并授权本文原地址:https://zhidao.baidu.com/question/1576368583039067980.html注:我的运行环境是widnows xp professional + MySQL5.0一, 创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'passwor
2017-01-10 14:45:29 491
原创 spark读取csv文件——scala
spark读取csv文件——scala下面介绍如何通过scala读取csv文件读取的过程是首先按照普通额文本文件进行读取,然后通过opencsv的jar包进行转换,通过对每行进行读取,生成string数组。好,下面上货。import java.io.StringReaderimport au.com.bytecode.opencsv.CSVReaderobject CC{
2017-01-08 23:00:09 19902
原创 spark生成json文件
spark生成json文件接上一篇文章:http://blog.csdn.net/wild46cat/article/details/54174695上一篇文章讲述了如何读取一个json文件,并且转换成对象。本篇文章介绍如何生成json文件。下面是代码:import org.json4s._import org.json4s.JsonDSL._import org.json4s
2017-01-08 21:59:08 7508 2
原创 spark 读取json文件并分析
spark 读取json文件并分析本文主要介绍如何通过读取json文件到spark中然后进行分析。本文阅读前提:1、能够正常的跑起来spark2、有一定的scala语言知识3、了解json4s的基本功能和用法(http://blog.csdn.net/wild46cat/article/details/54171973和http://blog.csdn.net/wild46ca
2017-01-07 15:39:56 22584 3
原创 spark 存储json数据遇到问题——json4s使用(二)
spark 存储json数据遇到问题——json4s使用(二)接续上一篇文章,现在介绍一下使用json4s进行json转换成对象的方法。好,下面上货:import org.json4s._import org.json4s.JsonDSL._import org.json4s.jackson.JsonMethods._import org.json4s.jackson.Seria
2017-01-07 11:39:39 4272
原创 spark 存储json数据遇到问题——json4s使用(一)
spark 存储json数据遇到问题——json4s使用(一)在进行spark的学习过程中遇到了这样的问题。1、《O'REILLY Learning Spark》的书中说道能够使用spark进行json 的读写,但是给出的例子使用的json转换的jar包是jackson的,还需要再次进行引入。2、能不能找到一个spark内部已经有的基于scala的json处理的jar包。在
2017-01-07 11:30:24 21290 2
原创 spark pairRDD基本操作(三)——附带wordcount程序
spark pairRDD基本操作(三)——附带wordcount程序由于pairRDD也是RDD,或者说是RDD的子类,所以pairRDD也有RDD的功能,下面是一个综合的例子,首先使用了filtermap,然后是一个简单的mapreduce程序,最后是一个简单的wordcount小程序。本文主要参考书籍《O Reilly Learning spark》好,下面上货。val a
2017-01-06 11:50:07 1244
原创 spark——pairRDD的简单操作(二)
spark——pairRDD的简单操作(二)下面介绍两个pariRDD之间的操作:首先看书中的截图:下面是我上述例子的程序:val a = sc.parallelize(Array((1,2),(3,4),(3,6)))a.collect().foreach(x => print(x + " "))println(" ")val b = sc.parallel
2017-01-06 09:48:48 1138
原创 spark——pairRDD的简单操作(一)
spark——pairRDD的简单操作最近在学习pairRDD的时候发现,如果在程序中通过scala编写的程序,打成jar包之后,再运行总是报错,查了很多资料,还是没有解决,正常的RDD能够使用,但是不能使用map函数,一旦使用map函数的时候就会报错。所以,在进行学习pairRDD的时候还是使用的spark-shell的方式。好,下面上货,首先是书中(《OReilly Learnin
2017-01-06 09:30:42 3007
原创 VirtualBox CentOS6.x——安装增强包
VirtualBox CentOS6.x——安装增强包之前一直参考别人的教程,自己没有整理,现在整理一下,方便以后的使用首先是环境:virtualbox5.1CentOS6.8下面上货:1、首先需要更新yum的源,使用阿里的源。参考文章:http://www.centoscn.com/CentOS/config/2015/0416/5189.htmlCe
2017-01-05 10:57:56 1287
原创 spark运行简单的demo程序
spark运行简单的demo程序使用spark可以直接在命令行中启动spark-shell,然后在spark-shell中使用scala进行数据的处理。现在要介绍的是使用ide进行处理程序的编写。前提:1、已经安装好spark能够运行起来。2、了解基本的scala语法好,下面上货。1、首先用maven创建一个简单的quickstart程序2、在app目录下创建创
2017-01-04 17:30:24 12719
原创 spark简单使用——union intersection subtract cartesian
spark简单使用——union intersection subtract cartesian本文主要参考:OReilly Learning Spark首先看一下书中的说明:下面是我在sprark中进行操作的截图:
2017-01-03 14:17:49 1076
原创 spark简单操作——map flatmap filter distinct
spark简单操作——map flatmap filter distinct本文主要参考:OReilly Learning Spark首先你看一下书中的记载:下面是我在spark中进行上述操作的结果:
2017-01-03 14:08:11 2759
androidListView下拉刷新Demo
2016-09-23
androidListView下拉刷新
2016-09-23
android ListView分页加载Demo
2016-09-22
Struts2+Spring+Hibernate+Maven框架整合
2016-07-26
JavaScript从入门到精通(第2版).pdf
2016-03-16
bootstrap图片瀑布布局 Masonry插件
2017-01-18
hadoop mapreduce helloworld 能调试
2016-12-14
hbase java api 访问 查询、分页
2016-11-24
hbase java api 访问 增加修改删除(一)
2016-11-23
java api 访问hbase demo(Maven)
2016-11-22
jquery-easyui-tree学习
2016-10-09
maven+springmvc+spring+mybatis框架V1.0
2016-09-29
android自定义ListView控件实现下拉刷新、分页加载、item点击
2016-09-27
android自定义ListView控件实现下拉刷新
2016-09-27
android自定义轮播控件基于ViewPager
2016-09-27
android自定义文字轮播控件基于ViewAnimator
2016-09-26
android自定义轮播控件基于ViewFlipper
2016-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人