2018年03月_公众号【禅与大数据】，欢迎订阅

12月 11月 07月 06月 05月 04月 03月 02月

原创 spark常见操作系列(3)--spark读写hbase(1)

spark读写hbase,先写一下hbase的常用操作方式.hbase建表:create 'hbase_test_table', 'info', {NAME=>'info', SPLITALGO => 'HexStringSplit', REPLICATION_SCOPE =>0}, SPLITS => ['S0','S1','S2', 'S3', 'S4'...

2018-03-18 23:23:39 1527

原创 spark常见操作系列(2)--spark读写hadoop

真正开发大数据之前,本人折腾过hadoop,spark组件,其中把之前公司的日志放到hadoop 和hive里面去读写.但实际上,真正开发spark程序,遇到的坑,是十分多的.本篇主要介绍spark读写hadoop.hadoop的读写,有java方式,也有scala方式. 虽scala可以嵌入java代码,并不意味着直接把java 操作工具类放到scala程序就行了. hadoop 一般...

2018-03-10 19:14:58 3028

原创 spark常见操作系列(1)--spark scala 以及hadoop不同版本的api区别

spark常见操作系列做数据处理有一段时间了,现把工作中遇到的问题和处理思路做个整理.文章分为5块,依次是:1. spark hadoop,hbase 版本划分, 以及spark1.5.2,scala2.10.4 与spark2.0, scala2.11版本区别 2. spark读写hadoop 3. spark读写hbase 4. spark广播变量的应用 5. spar...

2018-03-10 16:57:16 2038

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(三)

前2篇介绍了Elasticsearch的安装和工具类,虽然这样能用,但是还留有几个问题,对此有些困扰.多条件查询工具类里面有个get精确查询和search搜索,但是那个只用来查询单一条件,如果查询界面上需要查询多个条件,那这个显然不够用.在网络上搜索了半天,发现没有比较好的java写的api参考,觉得有些奇怪,难道这种场景不常见吗? 官方文档中,有类似搜索api,比如MultiSear...

2018-03-07 23:15:16 8239 3

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(二)

接下来是Elasticsearch (版本5.x)中数据的CRUD 操作,为此,根据ES官网上的资料总结了一个工具类. 具体如下: (1)maven 添加依赖 (2)工具类代码:public class ESClientUtils { protected static Logger logger = Logger.getLogger(ESClientUtils.class); ...

2018-03-05 20:42:30 4058 1

原创通过jupyter远程编写代码,并远程提交到spark集群执行

几个月前折腾了一番jupyter(web 代码编辑器),感觉jupyter在编写某些科学文章是比较灵活.不过几乎是单机版的,在生产环境应用有限.之前因为需要在集群上执行编辑的代码,遂查找资料,又折腾了一番,使得jupyter可以应用于集群环境.我们的需求类似使用者可以写点简单的程序,然后在集群上面执行代码. 程序是python语言的.所以,集群是pyspark集群.在spark包下面,会有pysp...

2018-03-03 18:08:32 6071 1

原创 Elasticsearch+hbase 实现hbase中数据的快速查询(一)

之前虽做了solr-hbase构建二级索引以及快速查询,但是考虑到以后生成的数据可能会很多,一旦到了亿级以上,solr查询效率会渐渐慢下来.老板不满意,又听了几位专家的建议,采用Elasticsearch+hbase 来实现hbase中数据的快速查询.首先,安装Elasticsearch. CDH中没有集成Elasticsearch,所以只好独立安装. 1.下载elasticsearch-...

2018-03-03 15:33:56 7852

hadoop统计服务器kpi

2017-07-05

用Ext js,Hibernate,Struts2,json,Session,iterator构建的Demo。iterator_jsonDemo2的升级版。

1.用Ext js,Hibernate3,Struts2,json,Session,iterator构建的Demo。2.iterator_jsonDemo2的升级版。iterator_jsonDemo2的链接：http://download.csdn.net/detail/cafebar123/8894139 3.将数据库中数据从后台传到Extjs表现层（自带json相关jar包）。 4.学习ERP和Web的同学可以参考下。 5.自带相关类包，注释详细，供参考。

2015-07-13

一个运用Extjs，Struts2, json，iterator技术构建的iterator_jsonDemo2。将数据从后台传到Extjs表现层。

一个运用Extjs，Struts2, json，iterator技术构建的iterator_jsonDemo2。iterator_jsonDemo1的链接：http://download.csdn.net/detail/cafebar123/8816409 运用了Extjs，Struts2, json，iterator技术，将数据从后台传到Extjs表现层（自带json相关jar包）。注释详细，供参考。 Use Extjs,Struts2, JSON,iterator Technology Demo. Use Extjs,Struts2, JSON,iterator technology, Data to Extjs from the background layer. Comment more, for your reference.

2015-07-13