- 博客(27)
- 资源 (4)
- 收藏
- 关注
原创 SVN的Not authorized to open root of edit operation解决办法
用乌龟check out时报错:Not authorized to open root of edit operation,但是可以用乌龟浏览解决方法:删除/etc/httpd/conf.d/subversion.conf (所在目录每个人不一样)文件中的"Satisfy Any",如下红色字体部分:<Location /svn/repos> DAV svn SVNPath /d...
2018-03-14 19:25:52
3112
原创 hive中的TextFile转为SequenceFile
由于业务需要,把SequenceFile文件导入hive,但是之前的SequenceFile文件是flume传来的。所以要hadoop的mr任务把TextFile类型转SequenceFile,再导入hive。代码如下:import java.io.IOException;import java.util.Iterator;import java.util.StringTo
2017-05-05 16:55:08
1938
原创 elasticsearch2.4.1 java api 创建连接
2.4.1 的版本比较特别,不是new TransportClient(),而是: TransportClient client = TransportClient.builder().build().addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("主机名或者ip地址"), 9300)
2016-11-24 15:32:07
2517
原创 elasticsearch bulk导入时出错
elasticsearch 的版本号:2.4.1当使用下面命令导入文件(文件大小超过100M)时,出错:curl -s -XPOST 'x.x.x.x:9200/index_name/type_name/_bulk?pretty' --data-binary @sale_report.json错误信息:org.jboss.netty.handler.codec.fr
2016-11-24 15:17:29
3089
原创 zookeeper节点启动失败
环境:zookeeper版本号:3.4.6,三个节点。有一台服务器重启了,用zkServer.sh start 启动是出错,信息如下:[2016-10-11 10:47:49,715] ERROR Unable to load database on disk (org.apache.zookeeper.server.quorum.QuorumPeer)java.io.IOEx
2016-10-12 11:39:38
4403
原创 hive数组字段转字符串
环境: 1. hive版本0.13.0 2. 表test_array有数组字段例如:select c_array from test_array where dt='2016-09-26' and size(c_array)=2 limit 2;["105750","1246345","907964"]["935105","359772","935104"]
2016-09-27 15:06:21
60877
3
原创 mysql explain时,possible_keys有索引,但是key为null没有使用索引
场景: 有三个表,表2连接表3查询很快,几毫秒;但是表2连接查询表4很慢,耗时几分钟。 注:都是用uid字段做关联 。查询结果如下截图:mysql> select concat_ws( '|' , '2016-08-23' , t3.country , count(distinct t2.id ) ) -> from t_reconnect_task t2 jo
2016-08-24 11:43:11
28120
3
原创 storm 的子节点机器重启后 supervisor无法启动
2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [INFO] State change: CONNECTED2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [WARN] There are no ConnectionStateListeners registered.2016-0
2016-07-28 11:16:04
2260
原创 修改java的静态final变量
请拷贝以下两个类,然后执行类一:import java.lang.reflect.*;public class EverythingIsTrue { static void setFinalStatic(Field field, Object newValue) throws Exception { field.setAccessible(true);
2016-06-08 11:18:11
1814
原创 java随机数且按权重、比例生成
以下两个测试类,即两种实现思路。均由公司同事提供,本人记录分享给大家。具体实现思路请看代码。。。。。测试类一:public class WGRandom {/** * * @author wangguan * */public static void main(String[] args) { int a = 0; int b = 0; int
2016-05-25 11:51:40
10172
原创 linux普通用户免密码登陆不成功,日志提示Authentication refused: bad ownership or modes
linux的两天机器间设置免密码登陆,使用ssh-keygen -t rsa ,具体方法上网查找。今天主要想记录普通用户设置后不成功的问题,我用root的用户能够成功。tail -10f /var/log/secure有日志打印:Authentication refused: bad ownership or modes for file /home/xxxxxx/.s
2016-03-16 20:41:40
3044
转载 sort +awk+uniq 统计文件中出现次数最多的前10个单词
原文地址:+awk+uniq 统计文件中出现次数最多的前10个单词" style="text-decoration:none; color:rgb(62,115,160)">sort +awk+uniq 统计文件中出现次数最多的前10个单词作者:小新实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1n
2015-11-06 10:01:26
13155
原创 停止hadoop2.2.0时提示no namenode to stop
运行命令stop-all.sh,停止hadoop时提示:[15:36:57][hadoop@iZ94ak2tictZ ~]# stop-dfs.sh [15:36:58]Stopping namenodes on [master][15:36:58]master: no namenode to stop[15:36:58]slave1: no datanode to stop[15:3
2015-05-25 20:29:01
4540
原创 hive的job运行结束后,数据导入分区报错:Stats aggregator of type counter cannot be connected to
hive的job运行结束后,数据导入分区报错:[Error 30017]: Skipping stats aggregation by error org.apache.hadoop.hive.ql.metadata.HiveException: [Error 30015]: Stats aggregator of type counter cannot be connected to
2015-05-25 20:09:24
2770
原创 eclipse安装插件是报错 Failed to prepare partial IU: [R]
eclipse安装插件是报错 Failed to prepare partial IU: [R] xxx.xxx.xxx ,具体错误没有截图。解决方法:Help --> Install New Sofeware --> Work with栏输入“The Eclipse Project Updates -http://download.eclipse.org/eclipse/up
2015-04-21 17:50:36
852
原创 配置hive后,Specified key was too long; max key length is 767 bytes
每次配置新的hive之后,进入hive命令行,创建表进行测试都会出现一下错误:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes解决方法:在进入hive的命令行之前,要先在mysql执行命令:alt
2015-04-21 11:40:34
684
转载 hbase的api代码示例
文章来源: http://www.xiaoyaochong.net/wordpress/index.php/2013/05/23/hbase%E5%85%A5%E9%97%A8%E5%AE%9E%E4%BE%8B//** * Hbase 基本CRUD 样例代码 覆盖Put Get Delete checkAndPut checkAndDelete Scan * 通过上面的各种
2015-02-15 18:49:44
1363
原创 hive的表新增字段后,新增字段不能load数据
新增一个字段: > alter table table_62_2 add columns (msg_type string);
2014-10-21 16:37:41
1180
转载 hive从查询中获取数据插入到表或动态分区
文章转载自: hive从查询中获取数据插入到表或动态分区Hive的insert语句能够从查询语句中获取数据,并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees(雇员信息全量表),所属国家cnty和所属州st是该表的两个属性,我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE em
2014-10-14 19:58:58
947
原创 javascript修改css的class名字
山 $("li").removeClass('on'); $(buttomId).addClass("on");
2014-10-14 09:37:06
1854
lrzsz-0.12.20-27.1.el6.x86_64.rpm
2017-05-05
百度地图api所有城市对应的cityCode
2015-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人