- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 spark写入数据到mongodb
将HIVE库里的表数据通过saprk写入到mongodb库里的实现1、到mongodb的官网上下载mongo-spark-connector_2.10-1.1.02、下载mongodb-driver-core-3.6.0.jar ,mongodb-driver-3.6.0.jar,bson-3.6.0.jar 三者的版本必须一致使用scala连接mongodb，官网上有相关的文档说明
2018-01-01 10:13:27
6266
原创 scrum敏捷开发初探
最近在看一本敏捷开发相关的书《轻松scrum之旅》，它不是一本scrum教科式的书，它采用了以小说的笔触，以主人公参与敏捷开发的过程为主线，将敏捷开发的概念，原则，特点贯穿其中，让人读起来不觉乏味 scrum敏捷开发对比传统的瀑布软件开发模式确实在很多好的地方，拥抱变化，能很好的应对需求的变化；可以工作的软件重于面面俱到的文档，简化了传统开发中需要编写的众多文档；注重团队的自我管理，不
2013-10-20 23:47:23
646
原创 Restful web service之初探
最近在项目中想实时获取页面送过来的性能数据，因为数据存储使用的mongodb，打算使用mongodb的一个插件sleepy.mongoose来做为接口服务，仔细研究后发现这个插件是基于restful 方式实现的，心想不如自己写个restful服务来获得数据，这样更灵活，于是开始了解restful web service的实现方式，在网上找了一个开源的轻量级的框架resteasy通过摸索研究后完
2013-08-11 22:20:48
526
转载 mongodb的集群配置
先在第一台计算机上在${MONGO_INSTALL}下分别执行：bin/mongod -shardsvr -port 27017 -dbpath=/data/shard11/ -logpath=/data/shard11.log --fork再在另一台机器上也分别执行：bin/mongod -shardsvr -port 27017 -dbpath=/data/shard12/ -lo
2013-08-11 21:57:16
486
原创 简洁的python
这段时间在学习python程序语言，发觉python确实是比较简洁的语言，完成相同的功能比JAVA用更少的代码 用python写了一个发送邮件的功能，只需要短短几行就完成了，而以前用java写，需要导入好几个jar,代码行 也比python要多，感觉用JAVA完成这些小功能就像俗话说的杀鸡用牛刀了，而python就像精准的手术刀，下面就 是邮件发送的python代码impor
2013-01-31 15:39:49
300
转载 坦诚的力量
作为一个领导，带领一支团队，我觉得最重要的是领导本人必须做到坦诚的态度，只有对团队坦诚，才能和团队之间形成信任，只有和团队形成了信任，才能成为一支默契的团队。因此坦诚的性格是管理者最基本的要求，坦诚的氛围也是对团队最基本的要求。 杰克韦尔奇说过：什么是信任？当一个领导真诚、坦率、言出必行的时候，信任就出现了，事情就是这么简单。为什么坦诚精神能行得通？很简单，因为坦诚有化繁为简的力量！ 我从
2012-04-21 22:54:40
884
原创 把握趋势，不断突破方能立于浪潮之巅--读《浪潮之巅》有感
读了吴军先生的《浪潮之巅》这本书，感慨颇多。这本书记录了近一个世纪以来美国的著名的IT公司的沉浮，他们都曾在科技舞台上辉煌过，但有的如流星一般，消逝而去，有的还在勉强支撑，有的还依然活跃在舞台上，为什么这些公司的命运结局各不相同，因为失败者总是固步自封，没有把握住科技发展的趋势，被时代所淘汰。AT&T，摩托罗拉，雅虎等都曾是时代的弄潮儿，在各自领域里都曾是响当当的，然而没有把握住科技发展的趋势，被
2012-01-14 14:50:39
810
转载 java nio 之MappedByteBuffer，高效文件/内存映射
MappedByteBuffer是java nio引入的文件内存映射方案，读写性能极高。NIO最主要的就是实现了对异步操作的支持。其中一种通过把一个套接字通道(SocketChannel)注册到一个选择器(Selector)中,不时调用后者的选择(select)方法就能返回满足的选择键(SelectionKey),键中包含了SOCKET事件信息。这就是select模型。 SocketCh
2011-11-25 14:36:13
702
原创 递归压缩(ZipOutputStream )与ANT的zipAPI压缩比较
最近在一个项目里因涉及到大数据量的压缩，发现通用的递归压缩的效率比较慢，我在项目测试中对一个2G大小的文件进行压缩发现需要4个小时才能压缩完成，感觉效率比较慢，因此查找了一些资料，发现使用ant的zipAPI接口进行压缩可以大大提高压缩效率，并且代码更简洁，初步评估效率可提高15倍，下面是测试样例 import java.io.File;import java.io.FileInput
2011-11-11 09:07:21
889
原创 一次SQL优化
前不久一位同事在做两个表关联更新，等了N久没执行出来，找我帮他看是什么原因。他的更新语句如下update dsamerr201109 a set (a.opr_status, a.new_result, a.unique_no6, a.unique_no7, renew_time)= (select '1',
2011-10-20 21:45:29
294
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人