2018年06月_公众号【禅与大数据】，欢迎订阅

12月 11月 07月 06月 05月 04月 03月 02月

原创处理大量csv数据和模型数据有关大数据组件选型的例子分析

大数据技术对处理大批量数据和在分布式计算上，较传统技术优势明显。那么，借大数据技术在处理航空数据上是否有用武之地？本文接下来讨论使用大数据组件来处理航空数据。航空数据有的数据以csv文件格式存储，统计分析航空数据有很多潜在价值，尽管有可观的分析价值，但这里仍跟大数据技术扯不上关系。所以，笔者准备从案例的角度，来尝试讨论下自己的观点。案例一假设一个航空公司的某业务一天生成100个...

2018-06-21 21:55:47 2637

原创 spark常见操作系列(3)--spark读写hbase(2)

接着上一篇, 问题(2):scan有scan.setCaching(10000)scan.setCacheBlocks(true)等设定.setCaching ,个人感觉不够用.hbase 默认是在内存里面放一块数据用来读取,所以读取效率比较高,可是,其余大部分数据还是在硬盘中,这个内存数据块的设定和意义,待清晰研究.单节点hbase的写入效率,有人粗估计,在3万-5万,这个...

2018-06-21 21:35:19 2070

原创大量csv数据的查询和计算的技术实现路径分析(2)-HDFS存储查询探讨2

上一篇讲了java split的使用弊端，虽是字符串处理中一个很小的操作，不过却避不开。接下来，主要探讨HDFS存储查询方面的问题和解决思路。随着每天的业务运作，每天会生成很多csv文件，目前csv文件存储在hdfs文件系统里面。在使用csv文件数据时，遇到一个问题: 如何高效查询HDFS中的csv数据？基于HDFS文件系统的特性，笔者经由以前的探讨和一些资料，作了一些思考，如图： ...

2018-06-21 21:30:10 603

hadoop统计服务器kpi

2017-07-05

用Ext js,Hibernate,Struts2,json,Session,iterator构建的Demo。iterator_jsonDemo2的升级版。

1.用Ext js,Hibernate3,Struts2,json,Session,iterator构建的Demo。2.iterator_jsonDemo2的升级版。iterator_jsonDemo2的链接：http://download.csdn.net/detail/cafebar123/8894139 3.将数据库中数据从后台传到Extjs表现层（自带json相关jar包）。 4.学习ERP和Web的同学可以参考下。 5.自带相关类包，注释详细，供参考。

2015-07-13

一个运用Extjs，Struts2, json，iterator技术构建的iterator_jsonDemo2。将数据从后台传到Extjs表现层。

一个运用Extjs，Struts2, json，iterator技术构建的iterator_jsonDemo2。iterator_jsonDemo1的链接：http://download.csdn.net/detail/cafebar123/8816409 运用了Extjs，Struts2, json，iterator技术，将数据从后台传到Extjs表现层（自带json相关jar包）。注释详细，供参考。 Use Extjs,Struts2, JSON,iterator Technology Demo. Use Extjs,Struts2, JSON,iterator technology, Data to Extjs from the background layer. Comment more, for your reference.

2015-07-13