voiceofwind-CSDN博客

原创 CDH安装报错Hive must also be configured with YARN

yarn是hadoop的新一代框架，cdh5在选择安装组件的时候完全可以抛弃之前的mapreduce框架由于安装时候没在意，在启动时报错Hive must also be configured with YARN. 这时候可以另开一个页面，点击hive组件--配置如上图，两种办法1.mapreduce服务选择yarn2.从网络其他文章看到的，ya

2016-08-04 17:43:34 523

原创 ssh无密码登录设置错误

配置ssh发现一个问题，一半的机器能顺利免密码登录，另一半登录却还是需要登录找了半天，发现由于用的都是root用户，在/etc/ssh/sshd_config中有一项配置PermitRootLogin no将no改为yes然后执行service sshd restart问题解决！

2016-07-25 16:25:34 339

原创 java程序中动态加载jar包并执行

参考了几篇文章http://www.cnblogs.com/flyingzl/articles/3139028.html这个写的比较简单些，加载jar包的类URLClassLoader中使用的方法为addURL，但是这个方法是protected类型很多方法都是反射到这个类，再设置Method add = URLClassLoader.class.getDeclaredM

2016-07-20 11:35:42 14431 1

原创 log4j同配置下多个进程写日志

由于起了两个不同的任务，log4j中用的是一套配置，写入的是同一个路径，导致日志文件丢失覆盖准备配置多个输出文件，但由于代码基本完成，而且各个类中的log实例由下面代码获取，改动起来挺费事 public static final Logger log = LoggerFactory.getLogger(xx.class);找了下相关的资料，有个比较简单的方法，只需要在log4j的配置中，

2016-07-20 11:11:20 3784 1

原创分页判断总页数

1)totalPage = (totalNum-1)/pageSize +1;2)totalPage = totalNum/pageSize + (totalNum%pagesize==0?0:1)一直用的方法二，昨天偶然见了方法一，真感觉实在是太强大了

2013-01-17 14:45:53 985

原创遭遇的各种哭笑不得的mysql悲剧

1. mysql where 后面不能带聚集函数，曾经后面写了个count(*)>xx，结果被人秒了一通，自己还不知道，后来查了资料才知道，这tm是常识啊，悲剧2.今天用到mysql往外导数据，之前都是小数据量，没出现过什么问题，今儿就碰到一大数据量的。表的id为自增主键，只要其中几个字段，数据量比较大，得分批导出结果又犯浑了，用的order by id limit

2013-01-08 18:08:31 575

原创 python的mysql模块使用like查询

python的mysql模块，参数使用%s传入，涉及到like时就各种出错折腾半天，终于搞定sql = "select * from table where field like %s" value=(param) cursor.execute(sql,value+'%%')表示一个百分号，得用%%来表示

2012-12-12 15:24:58 2703 1

原创 hive中join查询小结

select * from a join b on (a.id=b.id)这个简单，内连接select * from a left outer join b on (a.id=b.id) where b.id is null这个实现not in 查询，semi join 与 outer join 不一样滴，尽量在子查询中使用where语句，on只用简单的连接

2012-09-06 14:31:22 580

原创文件处理

处理文件CRLF line terminators的问题 dos2unix file 命令即可，windows与linux处理文件差异转码出现iconv: illegal input sequence at position 不重要情况下 iconv命令可加参数 -c 忽略不可识别的编码

2012-08-17 11:05:04 446

原创 shell日期循环

datebeg="2012-04-01"dateend="2012-05-30"beg_s=`date -d "$datebeg" +%s`end_s=`date -d "$dateend" +%s`while [ "$beg_s" -le "$end_s" ];do day=`date -d @$beg_s +"%Y-%m-%d"`; beg_s=$((beg_s

2012-07-18 14:28:39 1199

原创 mybatis批量入库

INSERT INTO `app_trend`(`appid`,`name`,`price`,`version`,`changeCode`,`date`) VALUES <foreach collection="list" item="item" index="index" separator=","> (#{item.appid},#{item.name},#{item.

2012-03-23 10:04:51 759

原创 solr3.5搭建

参考网上资料以及前人留下文档1.访问 http://www.apache.org/dyn/closer.cgi/lucene/solr , 在这个网址里选择一个路径 , 下载 solr 3.5 的版本2.solr3.5 在本机解压缩以后 , 把 apache-solr-3.5.0\example\webapps 目录下的 solr.war 文件拷贝出来，位置d:/solr.w

2012-03-06 10:33:29 991

转载 solr搭建中的问题

本人用tomcat 6.0.33加solr3.5，根据网上方法搭建，tomcat报org.apache.solr.common.SolrException: Error loading class 'solr.VelocityResponseWriter' ，这时找到solr\conf\solrconfig.xml，把中间 <queryResponseWriter name="velocity

2012-03-06 10:08:58 500

原创新浪微博api问题小结

这两天抓取新浪微博粉丝，结果碰到两个棘手的问题，三四天终于给解决了首先就是 public String asString() throws WeiboException{ if(null == responseAsString){ BufferedReader br; InputStream stream = null;

2012-02-09 17:04:16 2695

原创 redis客户端jedis中的小bug

前段时间写了些redis相关的代码谁料最近一直出问题，错误是jedis添加数据的时候返回类型Arriylist不能转换为Long型但仔细看了下，sadd方法返回类型的确是Long型，什么时候变成list了网上找了下，同样有网友遇到相同问题，说是连接超时造成的，不知道是不是这样导致的，但我的代码的确有超时异常调用时候cath下异常，调用连接池returnBrokenResource方

2012-02-03 17:15:07 5041 2

原创 mybatis打印查询语句

log4j.properties,记得加上log4j的jar包log4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d %p

2011-11-15 17:47:55 705

原创时间格式转换

SimpleDateFormat sdf = new SimpleDateFormat("EEE MMM dd HH:mm:ss zzz yyyy", Locale.US); SimpleDateFormat kk = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); System.out.println(sdf.format(new Date(

2011-11-15 17:44:08 301