- 博客(41)
- 收藏
- 关注
RSS订阅
原创 Linux上创建FTP用户并配置权限
很久没有写博客了，呵呵，现在就把今天创建FTP用户和配置权限在这里记录一下，总结自己，也方便别人。创建用户1、Linux系统创建用户：useradd -d /home/ygzx ygzx2、为用户设置密码：passwd ygzx3、设置限定用户不能telnet，只能ftpusermod -s /sbin/nologin ygzx 修改ftp配置我的vsftpd.conf
2015-04-24 18:07:04
20078
原创 jspsmart实现页面不跳转上传和下载文件（二）
续《jspsmart实现页面不跳转上传和下载文件（一）》，这里继续讲解一下页面不跳转实现文件的下载。要实现页面不跳转，这里还需要iframe，在主界面上添加如下：/service/communication/bulletinIssueDownload.jsp?filepath=&filename=" enctype="multipart/form-data" method="POST"
2013-11-04 17:27:40
3441
原创 jspsmart实现页面不跳转上传和下载文件（一）
jspsmart很多人都用过，高手也是如云滴多，网上资料更是漫天飞，不过对于我这个新手菜鸟，将文件的上传下载坐下来，感触还是很深的，有很多东西需要在这里沉淀下来。为了自己，也为了像我一样的菜鸟。 如果不想走后台action，直接使用jsp来完成文件的上传下载，jspsmart是最好的工具了。这里我就开始才从文件的上传开始讲起吧！1、在网上下载一个jspsmart.jar，并放入工程的
2013-11-04 17:04:45
4557
原创 如何查看和设置weblogic的编码格式
很少接触weblogic，今天同事出现了一个中文乱码问题，程序运行在本机windows环境是好的，但是放在linux上的weblogic上却乱码了，怀疑是linux系统的编码问题，查看/etc/sysconfig/i18n，内容如下：LANG="zh_CN.UTF-8"SUPPORTED="zh_CN.UTF-8:zh_CN:zh"SYSFONT="latarcyrheb-sun16"
2013-10-23 18:37:39
42024
2
原创 使用dwr同步调用导致无法获取js方法的返回结果问题的解决办法
今天遇到这样一个诡异的问题，a.js中调用b.js中的方法b()，得到的返回结果总是undefined，b()方法如下：function b(PhoneNum){ DWREngine.setAsync(false); var javaBean={ PhoneNum:PhoneNum }; apAction.queryNO
2013-10-23 16:13:48
1833
转载 SqlMapConfig.xml---在spring配置文件中自动加载的mybatis文件
http://mybatis.org/dtd/mybatis-3-config.dtd"> ******* ---po对象 --view对象
2013-10-21 01:24:28
7871
原创 windows上svn服务器发布公网的配置
继上两篇文章《windows上svn服务器的搭建》、《windows上svn代码库配置以及用户、组的设置》，已完成了svn服务器的搭建和代码库的配置，在局域网中能够正常的访问svn了，但是对于开发人员不在同一处办公来说这还不够，还需要公网上访问svn，接下来咱就介绍一下如何将svn发布到公网上的。 查了网上的资料，有了从路由器的端口映射下手的思路，当然路子还很多，如可以使用花生壳来进行地
2013-10-19 01:15:53
9430
1
转载 windows上svn代码库配置以及用户、组的设置
继上一篇博文《windows上svn服务器的搭建》，本片博文说明一下如何创建代码库和设置用户和组，也许对于很多人来说很easy了，但是像我一样的菜鸟咱们还是多用用烂笔头啊！哈哈，废话不多说了，咱们接着继续。。。这个步骤是我从网上找到的，载自：http://www.cnblogs.com/xiaobaihome/archive/2012/03/20/2407979.html 首先打
2013-10-19 00:58:27
8908
原创 windows上svn服务器的搭建
因为最近接了一个小活，找了两个朋友一起做，为了便于团队开发，于是我在本机搭建了一个svn服务器整合代码，今天在这里总结一下，以供他人参考，也便于自己查阅。如有问题也可以QQ（443672301）联系我。打算从三块介绍：1、windows上svn服务器的搭建；2、windows上svn代码库配置以及用户、组的设置；3、windows上svn服务器发布公网的配置 1、下载VisualSVN S
2013-10-19 00:43:46
2961
转载 HBase在淘宝主搜索的Dump中的性能调优
目前HBase已经运用于淘宝主搜索的全量和增量的数据存储，有效的减低的数据库的压力，增强了业务扩展的能力。Dump系统的特点是要求在短时间内处理大量数据，对延时要求高。在实施这个项目过程中，我们积累了一些优化的实践，抛砖引玉，供大家参考。环境：Hadoop CDH3U4 + HBase 0.92.11、 尽可能用LZO数据使用LZO，不仅可以节省存储空间尤其是可以提高传输的效率，因为
2012-08-04 09:50:51
910
原创 linux用户登陆显示：could not open session
引起这个问题大多数情况下都是权限的问题导致，主要查看以下文件的权限：drwxr-xr-x 80 root root 12288 Nov 15 18:08 /etcdrwxr-xr-x 2 root root 4096 Nov 14 18:33 /etc/pam.d-rw-r--r-- 1 root root 2180 Nov 15 18:08 /etc/passwd-rw-----
2012-07-10 19:15:16
18900
1
转载 Hadoop集群间distcp方案探讨
转载：http://www.linezing.com/blog/?p=452在日常的工作过程中，我们经常会碰到在不同的Hadoop集群间来回copy数据的需求。这些不同的集群，他们的Hadoop版本可能不同，不同机房的acl也可能不通，给我们的distcp带来了很多困难。这里整理曾经遇到的各种需求，供各位看官参考：1.机房影响这里假设有两个Hadoop集群，a和b，版本一致，但位于
2012-05-10 19:03:24
2051
原创 Hbase集群间数据迁移方法总结
呵呵，今天花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移 步骤：(1)执行hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase org.jruby.Main add_tabl
2012-05-10 17:59:35
22140
2
转载 hadoop命令distcp注意事项
地址：http://blog.csdn.net/azhao_dn/article/details/7054286#hadoop distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为mapred程序来执行，这样就大大提高了拷贝的速度，使用distcp命令时必须注意以下事项： 1）数据源集群 的所有节点必须 知道目标集群所有节点ip和host的转换关系
2012-05-10 11:38:44
1251
转载 source 1.3 中不支持泛型 解决办法
原文地址：http://greenlight.blog.51cto.com/3159513/687547maven打包时始终出现以下提示： 1、-source 1.3 中不支持泛型（请使用 -source 5 或更高版本以启用泛型）List userList= new ArrayList(); 2、-source 1.3 中不支持注释（请使用 -source 5
2012-05-02 20:19:07
12359
转载 在多硬盘情况下的Hadoop配置注意项
原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前
2012-04-23 20:04:55
1366
转载 hadoop 各类key value分隔符参数
原文地址：http://wingmzy.iteye.com/blog/1260570hadoop中的map-reduce是处理这样的键值对，故指定的分割符等参数可以分成三类：map输出时分割符分桶时的分隔符reduce输出时的分割符下面分别叙述：1. map输出时分割符参数：stream.map.output.field.sepa
2012-04-15 21:40:33
5484
原创 hbase的bulk load一个小改造(续)
之前写了一篇文章hbase的bulk load一个小改造，最近在这个改造的基础上做了一些性能测试，呵呵，在这期间发现了新的问题，对此也有了一些新的认识，在这里分享一下，欢迎大家拍砖。之前提到hbase的bulk load是一个mapreduce任务，其中reduce的数目是表的region数目来决定的，这一点一直没有理解hbase为什么要这么做。呵呵，前两天对一个有200多个region的表进
2012-04-15 11:12:21
3027
原创 hbase关闭cache的配置
关闭hbase的cache：hbase的配置项中 hfile.block.cache.size 0.2 Percentage of maximum heap (-Xmx setting) to allocate to block cache used by HFile/StoreFile. Defa
2012-04-01 16:26:13
4430
1
原创 hadoop的内存heap大小的配置参数
1、tasktracker的heapsize的大小设置 mapred.child.java.opts -Xmx200m Java opts for the task tracker child processes. The following symbol, if present, will be interpolated: @taskid@ is replaced
2012-04-01 15:41:18
17305
转载 低效的7个习惯
原文地址：http://wenku.baidu.com/view/d4ba5fbd960590c69ec3769d.html呵呵，看了这篇文章，很过关于自己工作效率的问题，都得到了答案，这里也分享一下，一是提醒自己，另外也是给跟我一样因效率困惑的人提供参考。--------------------------以下是原文--------------------------就像寻找
2012-03-30 12:54:07
876
原创 windows搭建cygwin、hadoop以及和eclipse集成
整个过程参考了以下文章：1、http://cw550284.iteye.com/blog/10648442、http://lirenjuan.iteye.com/blog/1280729大家也知道map reduce程序调试是一个很困难的事情，还好有cygwin这个好用的工具，以及eclipse相应的插件，真是帮了我们大忙啦！嗯，下面我总结一下我的安装和配置过程：一、cygwin的
2012-03-28 00:17:12
3728
原创 NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>问题解决总结
今天写了一个map reduce程序，在map端输出是ArrayWritable类型的，可是到了reduce里报出了NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.的问题。在网上分别看了两篇文章：http://groups.google.com/group/nosql-databases/browse_thread/threa
2012-03-27 17:30:14
4130
2
转载 基于HDFS的FTP
原文地址：http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp安装过程非常简单,本人只是在linux下安装过,w
2012-03-27 10:32:04
6502
1
原创 hbase的bulk load一个小改造
研读了三天bulk load的代码，呵呵，貌似时间有点长，我自己都觉得不好意思，总结了一下，主要是自己对map reduce的工作流程不太熟悉造成的。这个过程中，不论是自己找资料，还是向同事请教，对map reduce有了进一步的理解，呵呵，好了，继续讲讲bulk load吧！了解bulk load的朋友都知道，bulk load其实就是一个map reduce的job，我们在实际使用中发现，
2012-03-07 21:01:41
3285
6
转载 MapReduce Map数 reduce数设置
JobConf.setNumMapTasks(n)是有意义的，结合block size会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。假设没有设置mapred.min.split.size，缺省为1的情况下，针对每个文件会按照min (totalsize[所有文件总大小]/mapnum[jobconf设置的mapnum], blocksize)为大小来
2012-03-05 18:11:32
12009
转载 hadoop集群崩溃恢复记录
转载：http://www.blogjava.net/badqiu/archive/2011/12/14/366178.html一.崩溃原因搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重
2012-02-29 19:35:24
2780
原创 Cannot open channel to 1 at election address（待续）
这段时间搭了一个7台机器的hbase集群，启动hbase的时候，出现了以下异常：2011-05-16 15:07:21,171 - WARN [WorkerSender Thread:QuorumCnxManager@384] - Cannot open channel to 1 at election address /192.168.0.103:3888java.net.Co
2012-02-27 11:53:23
21941
4
原创 随笔
昨天很有幸参加了淘宝的技术沙龙，在交流会上，认识了很多技术牛人，所见所闻都让人热血沸腾……首先听到的是AdMaster公司的@爱的马斯特的有关流式计算的分享，之前对流式计算也稍稍了解了一些，但是了解不多，在这里我了解到他们使用storm实现了日志分析、ETL的功能，用Redis来做多个数据集的关联计算、join计算，实现了cookie，使用hbase做存储，离线分析使用MongoDB（这个主要
2012-02-26 23:17:18
1257
原创 java: cannot execute binary file问题的解决
这两天在虚拟机中搭建环境，从另一台虚拟机中拷贝的jdk，在我这台虚拟机中不能执行，系统报出了java: cannot execute binary file的异常信息。很是费解啊！找了半天终于明白原因了，我装的这个虚拟机的系统是32位，而另外那台虚拟机是64位的，那么jdk必定用不了啊！呵呵，在这里记录一下，也给大家提供一些参考信息。
2012-02-19 21:06:05
19809
6
原创 tomcat出现java.lang.OutOfMemoryError: PermGen space问题解决
稳定了很久的tomcat今天抛出了一个异常，java.lang.OutOfMemoryError: PermGen space。在网上找了一下PermGen space的作用，这部分空间用于存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域，它和和存放Instance的Heap区域不同,GC(Garbage Collection)不会在主程序运行
2012-02-16 17:26:01
2083
1
转载 如何更有效地学习开源项目的代码
转自：http://sd.csdn.net/a/20111219/309355.html导读：对于开发者来说，社区里丰富的开源代码其实是笔极为宝贵的财富。如果能充分利用好开放源代码的资源，不仅可以掌握多种编程方法，提高实践能力，还能获得好的思想，激发编程灵感。开源代码怎么学以及怎样才能学好是大家经常关注的话题，日前，在问答网站知乎上，有人抛出了“如何更有效地学习开源项目的代码？”的话题，众技术
2012-02-16 00:09:16
838
原创 bulk load关于分隔符的问题
在查看bulk load的源码了解到，其默认的分隔符为\t，也就是说如果数据是tab键分割的，就不需要指定分隔符了，如果需要换成其它分割符，在执行时加上-Dimporttsv.separator=","，则变成了以","分割。前两天，无意间使用bulk load导入数据，导入的数据是以“\t”分割的，我在命令中指定了-Dimporttsv.separator="\t"，怪事就出现了，报出异常：
2012-02-15 14:19:36
4414
转载 HBase bulkload的一个bug定位
在HBase bulkload过程中，如果rowkey和version都一致，无法取得最新导入的数据。问题定位：在HBase里，如果两个HFile中都有相同rowkey和version的数据，是靠HFile的fileinfo里的MAX_SEQ_ID_KEY来判断哪个文件是最新，MAX_SEQ_ID_KEY越大的文件越新。1.通过flush写的HFile文件有往fileinf
2012-02-14 15:41:43
1512
转载 HBase 压缩算法设置及修改
Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。HBase comes with support for a number of compre
2012-02-14 14:20:37
5736
1
原创 telnet的配置和启动
修改配置：/etc/xinetd./krb5_telent service telnet{ flags = REUSE socket_type = stream wait = no user = root
2012-02-11 21:11:23
685
原创 hbase 使用LZO笔记
之前我们发现数据录入到hbase中，数据占用的空间变大，所以我们考虑使用压缩来降低，下面是安装使用lzo的过程，在这记录一下备忘。一、hbase添加LZO注意：root用户安装，否则安装会出现错误1、首先要让系统支持lzo动态库，安装lzo-2.00以上版本：http://www.oberhumer.com/opensource/lzo/download/2、解压 tar -z
2012-02-11 20:56:49
6233
原创 hbase0.90.4安装总结
前段时间安装了hbase，这里总结一下备忘。安装前的准备工作：1、保证将纳入集群中各个机器能够ssh无密码访问；2、将各个机器的时间统一，一面集群启动后出现不可预料的问题1、通过命令tar xvf hbase-0.90.4.tar.gz解压到当前文件夹2、 修改HBase的配置文件：编辑所有机器上的hbase安装目录conf目录下的hbase-site.xml、hbas
2012-02-11 20:42:07
2872
原创 bulkload出现了KeeperException问题
昨天使用hbase的bulk load的时候，出现了以下异常：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException at java.lang.Class.getDeclaredMethods0(Native Method)
2012-02-11 19:24:34
3036
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人