自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (12)
  • 收藏
  • 关注

原创 spark常见操作系列(3)--spark读写hbase(1)

spark读写hbase,先写一下hbase的常用操作方式.hbase建表:create 'hbase_test_table', 'info', {NAME=>'info', SPLITALGO => 'HexStringSplit', REPLICATION_SCOPE =>0}, SPLITS => ['S0','S1','S2', 'S3', 'S4'...

2018-03-18 23:23:39 1527

原创 spark常见操作系列(2)--spark读写hadoop

真正开发大数据之前,本人折腾过hadoop,spark组件,其中把之前公司的日志放到hadoop 和hive里面去读写.但实际上,真正开发spark程序,遇到的坑,是十分多的.本篇主要介绍spark读写hadoop.hadoop的读写,有java方式,也有scala方式. 虽scala可以嵌入java代码,并不意味着直接把java 操作工具类放到scala程序就行了. hadoop 一般...

2018-03-10 19:14:58 3028

原创 spark常见操作系列(1)--spark scala 以及hadoop不同版本的api区别

spark常见操作系列做数据处理有一段时间了,现把工作中遇到的问题和处理思路做个整理.文章分为5块,依次是:1. spark hadoop,hbase 版本划分, 以及spark1.5.2,scala2.10.4 与spark2.0, scala2.11版本区别 2. spark读写hadoop 3. spark读写hbase 4. spark广播变量的应用 5. spar...

2018-03-10 16:57:16 2038

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(三)

前2篇介绍了Elasticsearch的安装和工具类,虽然这样能用,但是还留有几个问题,对此有些困扰.多条件查询 工具类里面有个get精确查询和search搜索,但是那个只用来查询单一条件,如果查询界面上需要查询多个条件,那这个显然不够用.在网络上搜索了半天,发现没有比较好的java写的api参考,觉得有些奇怪,难道这种场景不常见吗? 官方文档中,有类似搜索api,比如MultiSear...

2018-03-07 23:15:16 8239 3

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(二)

接下来是Elasticsearch (版本5.x)中数据的CRUD 操作,为此,根据ES官网上的资料总结了一个工具类. 具体如下: (1)maven 添加依赖 (2)工具类代码:public class ESClientUtils { protected static Logger logger = Logger.getLogger(ESClientUtils.class); ...

2018-03-05 20:42:30 4058 1

原创 通过jupyter远程编写代码,并远程提交到spark集群执行

几个月前折腾了一番jupyter(web 代码编辑器),感觉jupyter在编写某些科学文章是比较灵活.不过几乎是单机版的,在生产环境应用有限.之前因为需要在集群上执行编辑的代码,遂查找资料,又折腾了一番,使得jupyter可以应用于集群环境.我们的需求类似使用者可以写点简单的程序,然后在集群上面执行代码. 程序是python语言的.所以,集群是pyspark集群.在spark包下面,会有pysp...

2018-03-03 18:08:32 6071 1

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(一)

之前虽做了solr-hbase构建二级索引以及快速查询,但是考虑到以后生成的数据可能会很多,一旦到了亿级以上,solr查询效率会渐渐慢下来.老板不满意,又听了几位专家的建议,采用Elasticsearch+hbase 来实现hbase中数据的快速查询.首先,安装Elasticsearch. CDH中没有集成Elasticsearch,所以只好独立安装. 1.下载elasticsearch-...

2018-03-03 15:33:56 7852

hadoop统计服务器kpi

hadoop统计服务器kpi

2017-07-05

用Ext js,Hibernate,Struts2,json,Session,iterator构建的Demo。iterator_jsonDemo2的升级版。

1.用Ext js,Hibernate3,Struts2,json,Session,iterator构建的Demo。2.iterator_jsonDemo2的升级版。iterator_jsonDemo2的链接:http://download.csdn.net/detail/cafebar123/8894139 3.将数据库中数据从后台传到Extjs表现层(自带json相关jar包)。 4.学习ERP和Web的同学可以参考下。 5.自带相关类包,注释详细,供参考。

2015-07-13

一个运用Extjs,Struts2, json,iterator技术构建的iterator_jsonDemo2。 将数据从后台传到Extjs表现层。

一个运用Extjs,Struts2, json,iterator技术构建的iterator_jsonDemo2。iterator_jsonDemo1的链接:http://download.csdn.net/detail/cafebar123/8816409 运用了Extjs,Struts2, json,iterator技术, 将数据从后台传到Extjs表现层(自带json相关jar包)。注释详细,供参考。 Use Extjs,Struts2, JSON,iterator Technology Demo. Use Extjs,Struts2, JSON,iterator technology, Data to Extjs from the background layer. Comment more, for your reference.

2015-07-13

一个java写的爬虫Demo,可以抓取果壳网的果壳问答栏目中的首页标题,注释详细,供参考。

一个java写的爬虫Demo,可以抓取果壳网的果壳问答栏目中的首页标题,注释详细,供参考。

2015-06-23

这是一个后台管理程序的DEMO。具有管理员管理、图片上传管理功能。

这是一个后台管理程序的DEMO。具有管理员管理、图片上传管理功能。用到了jdbc,servlet,jsmart,jsp等相关知识,供参考。

2015-06-18

一个简单servlet后台管理员管理的系统

这是一个后台管理程序的DEMO。具有管理员管理功能。用到了jdbc,servlet,jsp等相关知识,供参考。

2015-06-18

一个运用iterator和json技术的实例

一个iterator_jsonDemo. 1.通过iterable接口和iterator实现迭代输出。2.通过JSONArray实现输出(自带json相关jar包)。供参考。

2015-06-17

一个使用iterator和json技术的实例

一个iterator_jsonDemo. 1.通过iterable接口和iterator实现迭代输出。2.通过JSONArray实现输出(自带json相关jar包)。供参考。

2015-06-17

一个基于struts的重定向和转发实例

在struts中测试登录的redirect,transmit 一个测试重定向和转发的demo。演示转发到jsp和action的过程。 供参考。

2015-06-17

一个extjs表格的实例

extjsDemo2 form panel 一个extjs的demo。1、描绘了表格的属性;2、一个简单的页面布局。供参考。

2015-06-17

一个简单的二级目录树

extjs 目录树 二级 一个简单的二级目录树

2015-06-17

自制的简易“教师工具”小软件

一款自制的简易“教师工具”小软件,有抓图 记事本 点名机 数据库等功能。小巧好用。

2013-05-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除