- 博客(7)
- 资源 (12)
- 收藏
- 关注
原创 spark常见操作系列(3)--spark读写hbase(1)
spark读写hbase,先写一下hbase的常用操作方式.hbase建表:create 'hbase_test_table', 'info', {NAME=>'info', SPLITALGO => 'HexStringSplit', REPLICATION_SCOPE =>0}, SPLITS => ['S0','S1','S2', 'S3', 'S4'...
2018-03-18 23:23:39 1527
原创 spark常见操作系列(2)--spark读写hadoop
真正开发大数据之前,本人折腾过hadoop,spark组件,其中把之前公司的日志放到hadoop 和hive里面去读写.但实际上,真正开发spark程序,遇到的坑,是十分多的.本篇主要介绍spark读写hadoop.hadoop的读写,有java方式,也有scala方式. 虽scala可以嵌入java代码,并不意味着直接把java 操作工具类放到scala程序就行了. hadoop 一般...
2018-03-10 19:14:58 3028
原创 spark常见操作系列(1)--spark scala 以及hadoop不同版本的api区别
spark常见操作系列做数据处理有一段时间了,现把工作中遇到的问题和处理思路做个整理.文章分为5块,依次是:1. spark hadoop,hbase 版本划分, 以及spark1.5.2,scala2.10.4 与spark2.0, scala2.11版本区别 2. spark读写hadoop 3. spark读写hbase 4. spark广播变量的应用 5. spar...
2018-03-10 16:57:16 2038
原创 Elasticsearch+hbase 实现hbase中数据的快速查询(三)
前2篇介绍了Elasticsearch的安装和工具类,虽然这样能用,但是还留有几个问题,对此有些困扰.多条件查询 工具类里面有个get精确查询和search搜索,但是那个只用来查询单一条件,如果查询界面上需要查询多个条件,那这个显然不够用.在网络上搜索了半天,发现没有比较好的java写的api参考,觉得有些奇怪,难道这种场景不常见吗? 官方文档中,有类似搜索api,比如MultiSear...
2018-03-07 23:15:16 8239 3
原创 Elasticsearch+hbase 实现hbase中数据的快速查询(二)
接下来是Elasticsearch (版本5.x)中数据的CRUD 操作,为此,根据ES官网上的资料总结了一个工具类. 具体如下: (1)maven 添加依赖 (2)工具类代码:public class ESClientUtils { protected static Logger logger = Logger.getLogger(ESClientUtils.class); ...
2018-03-05 20:42:30 4058 1
原创 通过jupyter远程编写代码,并远程提交到spark集群执行
几个月前折腾了一番jupyter(web 代码编辑器),感觉jupyter在编写某些科学文章是比较灵活.不过几乎是单机版的,在生产环境应用有限.之前因为需要在集群上执行编辑的代码,遂查找资料,又折腾了一番,使得jupyter可以应用于集群环境.我们的需求类似使用者可以写点简单的程序,然后在集群上面执行代码. 程序是python语言的.所以,集群是pyspark集群.在spark包下面,会有pysp...
2018-03-03 18:08:32 6071 1
原创 Elasticsearch+hbase 实现hbase中数据的快速查询(一)
之前虽做了solr-hbase构建二级索引以及快速查询,但是考虑到以后生成的数据可能会很多,一旦到了亿级以上,solr查询效率会渐渐慢下来.老板不满意,又听了几位专家的建议,采用Elasticsearch+hbase 来实现hbase中数据的快速查询.首先,安装Elasticsearch. CDH中没有集成Elasticsearch,所以只好独立安装. 1.下载elasticsearch-...
2018-03-03 15:33:56 7852
用Ext js,Hibernate,Struts2,json,Session,iterator构建的Demo。iterator_jsonDemo2的升级版。
2015-07-13
一个运用Extjs,Struts2, json,iterator技术构建的iterator_jsonDemo2。 将数据从后台传到Extjs表现层。
2015-07-13
一个java写的爬虫Demo,可以抓取果壳网的果壳问答栏目中的首页标题,注释详细,供参考。
2015-06-23
这是一个后台管理程序的DEMO。具有管理员管理、图片上传管理功能。
2015-06-18
一个运用iterator和json技术的实例
2015-06-17
一个使用iterator和json技术的实例
2015-06-17
一个基于struts的重定向和转发实例
2015-06-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人