- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 SVN的Not authorized to open root of edit operation解决办法
用乌龟check out时报错：Not authorized to open root of edit operation，但是可以用乌龟浏览解决方法：删除/etc/httpd/conf.d/subversion.conf （所在目录每个人不一样）文件中的"Satisfy Any"，如下红色字体部分：<Location /svn/repos> DAV svn SVNPath /d...
2018-03-14 19:25:52
3112
原创 hive中的TextFile转为SequenceFile
由于业务需要，把SequenceFile文件导入hive，但是之前的SequenceFile文件是flume传来的。所以要hadoop的mr任务把TextFile类型转SequenceFile，再导入hive。代码如下：import java.io.IOException;import java.util.Iterator;import java.util.StringTo
2017-05-05 16:55:08
1938
原创 elasticsearch2.4.1 java api 创建连接
2.4.1 的版本比较特别，不是new TransportClient()，而是： TransportClient client = TransportClient.builder().build().addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("主机名或者ip地址"), 9300)
2016-11-24 15:32:07
2517
原创 elasticsearch bulk导入时出错
elasticsearch 的版本号：2.4.1当使用下面命令导入文件（文件大小超过100M）时，出错：curl -s -XPOST 'x.x.x.x:9200/index_name/type_name/_bulk?pretty' --data-binary @sale_report.json错误信息：org.jboss.netty.handler.codec.fr
2016-11-24 15:17:29
3089
原创 zookeeper节点启动失败
环境：zookeeper版本号：3.4.6，三个节点。有一台服务器重启了，用zkServer.sh start 启动是出错，信息如下：[2016-10-11 10:47:49,715] ERROR Unable to load database on disk (org.apache.zookeeper.server.quorum.QuorumPeer)java.io.IOEx
2016-10-12 11:39:38
4403
原创 hive数组字段转字符串
环境： 1. hive版本0.13.0 2. 表test_array有数组字段例如：select c_array from test_array where dt='2016-09-26' and size(c_array)=2 limit 2;["105750","1246345","907964"]["935105","359772","935104"]
2016-09-27 15:06:21
60877
3
原创 mysql explain时，possible_keys有索引，但是key为null没有使用索引
场景： 有三个表，表２连接表３查询很快，几毫秒；但是表２连接查询表４很慢，耗时几分钟。 注：都是用uid字段做关联 。查询结果如下截图：mysql> select concat_ws( '|' , '2016-08-23' , t3.country , count(distinct t2.id ) ) -> from t_reconnect_task t2 jo
2016-08-24 11:43:11
28120
3
原创 storm 的子节点机器重启后 supervisor无法启动
2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [INFO] State change: CONNECTED2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [WARN] There are no ConnectionStateListeners registered.2016-0
2016-07-28 11:16:04
2260
原创 修改java的静态final变量
请拷贝以下两个类，然后执行类一：import java.lang.reflect.*;public class EverythingIsTrue { static void setFinalStatic(Field field, Object newValue) throws Exception { field.setAccessible(true);
2016-06-08 11:18:11
1814
原创 java随机数且按权重、比例生成
以下两个测试类，即两种实现思路。均由公司同事提供，本人记录分享给大家。具体实现思路请看代码。。。。。测试类一：public class WGRandom {/** * * @author wangguan * */public static void main(String[] args) { int a = 0; int b = 0; int
2016-05-25 11:51:40
10172
原创 linux普通用户免密码登陆不成功，日志提示Authentication refused: bad ownership or modes
linux的两天机器间设置免密码登陆，使用ssh-keygen -t rsa ，具体方法上网查找。今天主要想记录普通用户设置后不成功的问题，我用root的用户能够成功。tail -10f /var/log/secure有日志打印：Authentication refused: bad ownership or modes for file /home/xxxxxx/.s
2016-03-16 20:41:40
3044
转载 sort +awk+uniq 统计文件中出现次数最多的前10个单词
原文地址：+awk+uniq 统计文件中出现次数最多的前10个单词" style="text-decoration:none; color:rgb(62,115,160)">sort +awk+uniq 统计文件中出现次数最多的前10个单词作者：小新实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1n
2015-11-06 10:01:26
13155
原创 停止hadoop2.2.0时提示no namenode to stop
运行命令stop-all.sh，停止hadoop时提示：[15:36:57][hadoop@iZ94ak2tictZ ~]# stop-dfs.sh [15:36:58]Stopping namenodes on [master][15:36:58]master: no namenode to stop[15:36:58]slave1: no datanode to stop[15:3
2015-05-25 20:29:01
4540
原创 hive的job运行结束后，数据导入分区报错：Stats aggregator of type counter cannot be connected to
hive的job运行结束后，数据导入分区报错：[Error 30017]: Skipping stats aggregation by error org.apache.hadoop.hive.ql.metadata.HiveException: [Error 30015]: Stats aggregator of type counter cannot be connected to
2015-05-25 20:09:24
2770
原创 eclipse安装插件是报错 Failed to prepare partial IU: [R]
eclipse安装插件是报错 Failed to prepare partial IU: [R] xxx.xxx.xxx ，具体错误没有截图。解决方法：Help --> Install New Sofeware --> Work with栏输入“The Eclipse Project Updates -http://download.eclipse.org/eclipse/up
2015-04-21 17:50:36
852
原创 配置hive后，Specified key was too long; max key length is 767 bytes
每次配置新的hive之后，进入hive命令行，创建表进行测试都会出现一下错误：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes解决方法：在进入hive的命令行之前，要先在mysql执行命令：alt
2015-04-21 11:40:34
684
转载 hbase的api代码示例
文章来源： http://www.xiaoyaochong.net/wordpress/index.php/2013/05/23/hbase%E5%85%A5%E9%97%A8%E5%AE%9E%E4%BE%8B//** * Hbase 基本CRUD 样例代码 覆盖Put Get Delete checkAndPut checkAndDelete Scan * 通过上面的各种
2015-02-15 18:49:44
1363
原创 hive的表新增字段后，新增字段不能load数据
新增一个字段： > alter table table_62_2 add columns (msg_type string);
2014-10-21 16:37:41
1180
转载 hive从查询中获取数据插入到表或动态分区
文章转载自： hive从查询中获取数据插入到表或动态分区Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE em
2014-10-14 19:58:58
947
原创 javascript修改css的class名字
山 $("li").removeClass('on'); $(buttomId).addClass("on");
2014-10-14 09:37:06
1854
lrzsz-0.12.20-27.1.el6.x86_64.rpm
2017-05-05
百度地图api所有城市对应的cityCode
2015-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人