- 博客(6)
- 收藏
- 关注
原创 sqoop2 java 批量入库程序
1、需求,sqoop2写命令太麻烦,于是写了一个通用型的java 的sqoop2导入程序,很简单,有什么不足,望各位看官指出。import org.apache.sqoop.client.SqoopClient;import org.apache.sqoop.model.MConnector;import org.apache.sqoop.model.MDriverConfig;impo
2016-01-07 09:43:45 2324 1
原创 java程序优化总结
1、面向对象的编程给我们很方便的编程思维,以类为原点,让我们去写程序。由于自己要写通讯解析程序,并且数据量大而不得不考虑效率的问题。2、我们对类的定义有,javabean:数据转储到内存时使用的,每次使用每次建立,不可避免。逻辑执行的类,是不是需要每次执行每次建立呢?个人认为是不需要要的。可以节约建立的时间跟,回收的时间,在高并发的情况下是客观的。3、考虑一在执行过程中,什么是可变的,什么
2015-12-25 17:17:18 304
原创 kafka清空topics
1、缘由(需求):因为测试时不小心,写了一大堆topics,看监测时一顿揪心。2、解决方案:kafka是被zookeeper监管的,topics是在zookeeper上的(描述可能不是很准确),我发现kakfa原生api好像没有批量删除topics的方式,我登陆到zookeeper后,在zookeeper的目录下发现了topics。于是写了个递归程序将其删除。以下是代码:public cl
2015-12-16 08:20:55 2024
原创 sqoop2 去除单引号与自定义分隔符
1、缘由(需求) 正在做oracle到hive的数据导入,遇到数据分隔问题,sqoop2 默认分隔式逗号,我使用hive 也是逗号分隔,发现数据中含有逗号的字段,hive把它分成了好几个。于是去网上找自定义分隔的解决方法,但是无奈这方面的资料很少。不解决此问题,工作无法进行。胜了最后一个法宝,编译源码。2、去下载跟你使用的一个版本的sqoop2 源码(最好),使用maven构建,
2015-12-13 10:01:43 5068
原创 编程粗论
对于自己刚刚做c语言做的时候来说,编程是什么?一道数学题。解决的方式,输入是什么?结果是什么?问题是什么?然后画了个流程图,写程序。最令人兴奋的是改bug。那段日子,是快乐的。 不知所谓的写博文是什么?不过在网上看很流行的样子。最初的源泉在于,我每次查一些东西的时候,发现有人去写了,我问自己,他们为什么去写呢?我当时在想,我可能不会去写吧!不过,都不写怎么办。于是乎,我也去试着去写
2015-09-09 14:41:59 250
原创 CDH安装
安装CM1.下载Cloudera Manager.bin2.建立本地源, a、去 http://archive.cloudera.com/cm5/repo-as-tarball/5.4.6/ 下载与本机相应源(centos6 : cm5.4.6-centos6.tar.gz), b、解压cm放到apache服务器上,保证本地资源跟cm5/redhat/6/x86_64/cm
2015-09-08 11:48:30 628
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人