- 博客(83)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 google protobuf使用
一些开源的软件很多依赖protobuf2.0版本，而当前github上下载的版本过新，是3.0版本，老版本不太好找，下面贴一下老版本的下载地址：https://repo1.maven.org/maven2/com/google/protobuf/protoc/另生成protobuf源代码两者命令有区别，版本2.0需要具体的文件路径，而版本3.0则不需要，下面简单记录一下：protobuf2...
2019-07-25 18:31:13
389
转载 log4jConfigLocation invalid
错误信息如下：因为web.xml配置了log4jConfiguration，而resource里面缺少对应的文件，补上即可。java.lang.IllegalArgumentException: Invalid 'log4jConfigLocation' parameter: class path resource [/log4j.properties] cannot be resolved...
2018-10-09 22:00:11
1458
1
原创 offset (0) + length (4) exceed the capacity of the array: 2
使用spring-for-hadoop读取HBase，出现以下错误：主要原因是：我自己定义的dto采用了Float，而从数据库取数据的时候，采用了Bytes.toFloat方法对数据进行转换，查看源码，可知道Bytes.toFloat返回的是基本类型float，两者类型不符合，导致出现错误，使用以下方法进行数据转换即可：Float.valueof(Bytes.toString())即可。...
2018-09-30 09:30:35
4182
转载 HBase RowFilter构建报错
Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either than the input has been...
2018-09-25 09:21:22
647
原创 Maven与Nexus: Return code is: 401, ReasonPhrase: Unauthorized.
错误信息如下：明显认证失败，但是setting.xml跟pom.xml明明配置好了，而且保证了id正确。运行mvn -X，看打印出来的错误信息，如下：分别先读取了maven的settings.xml与.m2下的settings.xml。然而由于项目需求，我给setting.xml命名了另一个名：settings-xxx.xml。明显没有读到，保证该setting.xml能够读到即可...
2018-09-04 20:19:44
2036
转载 Maven将spring工程打成jar包
1，使用assembly插件打包，一直报Offending resource:class path resource[ applicationContext.xml]问题，后来采用shade插件，配置如下：<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId&...
2018-08-16 17:30:19
461
原创 Quartz学习
参考网址：http://www.quartz-scheduler.org/documentation/quartz-2.1.x/tutorials/tutorial-lesson-01.html一个Quartz例子：public class QuartzTest { public static void main(String[] args) { try { ...
2018-08-05 17:27:11
174
原创 org/apache/hadoop/util/ShutdownHookManager$2
关闭tomcat出现以下错误：Exception in thread "Thread-15" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ShutdownHookManager$2 at org.apache.hadoop.util.ShutdownHookManager.getShutdownHooksInOrder(Shutdo...
2018-05-19 20:11:40
2625
1
原创 spark on yarn---{{PWD}}<CPS>{{PWD}}
采用yarn-client提交job的时候，发现在application的日志中出现以下内容，一直以为 {{PWD}}<CPS>{{PWD}}出现错误，但是后来通过google发现这是正常的，在派发container的时候，会调用hadoop-yarn-nodemanager-jar包将{{,CPS和}}进行更改。SLF4J: Class path contains multiple ...
2018-05-14 17:18:20
760
原创 spark on yarn提交job错误
java.io.IOException: Cannot run program "/etc/hadoop/conf/topology_script.py" (in directory "I:\软件开发\zmap"): CreateProcess error=2, 系统找不到指定的文件。 at java.lang.ProcessBuilder.start(ProcessBuilder.java:10...
2018-05-12 22:56:05
2056
1
原创 spark客户端与集群版本不一致
Caused by: java.io.InvalidClassException: org.apache.spark.rdd.RDD; local class incompatible: stream classdesc serialVersionUID = 5009924811397974881, local class serialVersionUID = 718537847152086496...
2018-05-10 21:40:19
2044
转载 access_jdbc连接错误
报错：org.hsqldb.DatabaseURL.parseURL(Ljava/lang/String;ZZ)Lorg/hsqldb/persist/Hsq可能是含有两个hsqld包，导致包冲突，
2018-04-25 21:29:45
597
原创 spring phoenix结合操作hbase
参考网址：https://www.cnblogs.com/MOBIN/p/5234816.html发生错误的原因：主要是url写错，按照推荐的url地址为jdbc:phoenix:zookeeper安装地址:2181，后面应该加上具体的hbase安装路径，如/hbase-unsecure1，报错如下：org.springframework.jdbc.CannotGetJdbcConnectionE...
2018-04-19 22:52:27
3685
原创 Intellij下创建web，lib下jar包不导入
使用intellij创建spring mvc项目，并添加maven依赖，通过maven下载的jar不添加到tomcat的目录下，解决方案：在artifact创建的页面中通过鼠标双击添加到web依赖中即可。如下图所示：...
2018-04-14 10:44:28
1489
转载 java序列化与反序列化
一个实现Java序列化与反序列化的方法，网址如下：http://www.cnblogs.com/liuchao102/p/4479352.html
2017-10-18 18:55:27
206
原创 java.lang.NoSuchMethodError错误
Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;at com.fasterxml.jackson.module.scala.deser.Num
2017-09-25 10:09:43
4338
原创 H2数据库操作
运行对H2进行增删改查程序，出现如下错误信息：org.springframework.web.util.NestedServletException: Request processing failed; nested exception is org.springframework.jdbc.UncategorizedSQLException: StatementCallback; un
2017-09-06 21:56:55
3556
原创 java.lang.ClassCastException：org.apache.spark.rdd.MapPartitionsRDD
再搭建的spark源码环境上，启动master与worker进程，然后将简单的单词统计代码提交到集群中，产生以下错误：17/09/04 11:11:47 INFO DAGScheduler: ShuffleMapStage 0 (map at wordCount.scala:42) failed in 6.941 s due to Job aborted due to stage failur
2017-09-04 11:28:20
11449
6
原创 process finished with exit code 52
在intellij上搭建了spark源码阅读环境，然后分别设置master与slave的启动参数，从而启动master与slave进程的时候，可能会报如下错误：process finished with exit code 52进入调试状态，错误发生在：进行调试发现52错误出现在SparkExitCode.scala类中，其中错误定义如下：/** The defau
2017-08-31 18:56:18
3507
原创 org.slf4j.Logger找不到
使用eclipse从公司SVN下载了一个项目，测试的时候，发生以下错误：Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1714) at
2017-07-31 09:19:07
22325
11
转载 eclipse不识别scala代码
从公司svn下载了工程代码，里面有使用scala写的文件，在eclipse下不识别，包红叉。通过google，发现解决方法如下：右键单击工程--》Configure--》add scala nature;参考网址：https://stackoverflow.com/questions/8522149/eclipse-not-recognizing-scala-code
2017-07-15 19:10:39
3281
原创 Mapreduce运行自定义Map及Reduce类找不到
在Eclipse开发环境中，派发Mapreduce job到集群的过程中，往往出现自己定义的Map及Reduce类找不到的情况。这个时候可以将工程打成jar包，然后将jar包添加到工程中。这种方法过于繁琐，现只需要在配置job之前通过代码将自己的Map及Reduce类上传到集群即可。代码如下所示：Method addURL = URLClassLoader.class.getDeclared
2017-04-12 09:51:24
3048
1
原创 使用Dtree显示HBase目录
HBase = new dTree('HBase');var node = ;HBase.add(0,-1, node);var myobj= {id:"", pid:"",name:""}; HBase.add(0, -1, 'HBase'); alert('HBase fa');
2017-03-24 10:59:50
335
翻译 基于分布式列数据库的时空数据库——Geomesa
一款直接时空处理分析的开源数据库---geomesa，可用于交通轨迹数据存储分析等相关领域，在分布式列数据库的基础上进行扩展，目前支持Accumulo, HBase, Cassandra, and Kafka等作为底层存储。地址链接: http://www.geomesa.org/
2017-02-18 21:50:37
5898
原创 sublime Text3 实现编译及运行
获取并安装sublimecd ~wget http://c758482.r82.cf2.rackcdn.com/sublime-text_build-3083_i386.deb安装后，只提供编译功能而不提供run功能（通过crt+b即可实现编译）。通过参考网上资料，自己动手实现编译及运行。先构建JavaCMine.sublime-build文件。通过preferences->brows
2017-01-13 21:56:48
5838
原创 zookeeper会话及普遍模型
1，使用zkEnv.sh配置classpath路径，建立MyEnv.sh文件ZOOBINDIR=“/bin”. "ZOOBINDIR"/zkEnv.sh运行完之后source一下MyEnv.sh文件2，创建Master.java文件，如下所示：import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.
2016-12-10 14:38:22
285
转载 ubuntu挂载Windows共享文件夹
首先，在Windows设置需要共享的文件夹；然后使用如下两个方式将共享文件夹挂载到Ubuntu系统中，1.mount方式：关机失效win主机IP192.168.1.100，共享目录workspacemount -t cifs -o username='echo',password='123456' //192.168.1.100/workspace /mnt/share
2016-11-27 21:01:29
6556
1
转载 dos指令学习
经常要在cmd界面进入到其他的盘，可以简单的直接输入盘符号，如D:\即可Windows平台查看相关进程指令：1，netstat -ano：查看当前所有的运行进程2，netstat -ano|findstr "端口号"：查看当前端口运行的相关进程号；3，找到进程号，就可以调用taskkill /F /PID 端口号。就可以将相应的进程杀死；
2016-11-22 21:02:36
358
翻译 Rowkey设计部分
Rowkey Design35.1. HotspottingRows in HBase are sorted lexicographically by row key. This design optimizes for scans, allowing you to store related rows, or rows that will be read toge
2016-11-15 20:51:18
1002
原创 读取文件夹
读取arcgis切片数据，arcgis切片数据存放在一个文件夹下，该文件夹下包含多个等级，不同行列号的所有文件，并获得arcgis切片数据的相关信息。String path = "G:/Test/0913/A09";//文件夹Map> map = new HashMap>();File file = new File(path);File[] fa = file.listFil
2016-11-08 19:46:03
317
转载 数据库范式
1，第一范式的限定条件如下：1）每个列必须有一个唯一的名称；2）行和列的次序无关紧要；3）每一列都必须有单个数据类型；4）不允许包含相同值的两行；5）每一列都必须包含一个单值；6）列不能包含重复的组；2，第二范式的限定条件如下：1）它满足第一范式；2）所有的非键值字段均依赖于所有的键值字段；3，第三范式限定条件如下：1）符合第二范式；2）它不包含传递
2016-10-22 21:34:49
561
原创 Docker学习
操作Docker出现错误：1，FATA[0000] Error response from daemon：这个问题可能是由于操作系统不兼容导致的，如使用了32位的Linux系统。2，制作HTTPS服务器镜像：mkdir sslcd ssl/keytool -getkey -alias tomcat -keyalg RSA -keystore tomcat.keystore之后设
2016-10-15 22:35:29
739
原创 Gray空间填充曲线
百度Gray编码，发现其规则如下：1）1位格雷码有两个码字2）(n+1)位格雷码中的前2^n个码字等于n位格雷码的码字，按顺序书写，加前缀03）(n+1)位格雷码中的后2^n个码字等于n位格雷码的码字，按逆序书写，加前缀14）n+1位格雷码的集合 = n位格雷码集合(顺序)加前缀0 + n位格雷码集合(逆序)加前缀1而Gary填充曲线是在Gray编码的基础发展的。构造Gra
2016-09-15 21:05:30
3772
原创 Type One or more constraints have not been satisfied
创建基于Maven管理的Javaweb程序，在工程tree形结构有时会出现错误标记，然后在Markers中会发现一些错误，今天记录的错误如下：错误提示出现web module与Java版本之间的冲突，不断修改相关的Java配置与project Facets相关配置，依然出现错误。最后发现是Maven编译插件导致。修改工程的编译插件即可，具体修改如下：
2016-08-04 19:43:43
3402
原创 磁盘引起的MR运行问题
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl()Zat org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl(Native Method)at org.apache.hadoop.cr
2016-07-30 16:01:40
725
转载 scala与Java性能对比
http://www.cnblogs.com/superjt/archive/2012/04/22/2465348.htmlStephen Colebourne（近日发表了文章Is Scala the new EJB2？）对这封邮件做了点评，其要点总结如下：作为一门语言，Scala中有很多颇具见地的想法。但它是门非常复杂的语言。除了Scala所引入的概念与具体实现外，要想编写地道的
2016-07-29 16:22:25
5460
原创 spark error
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties16/07/28 05:42:58 INFO CoarseGrainedExecutorBackend: Registered signal handlers for [TERM, HUP, INT]16/07/28 05:42:59 W
2016-07-28 20:59:05
2375
3
原创 windows传文件到Linux
1，下载BvSshServer-Inst.exe，并在windows下安装，下载地址：https://www.bitvise.com/ssh-server-download。直接安装即可。之后进行一些设置工作。将Linux下的id_dsa.pub文件拷贝到windows机子上，然后导入到winsshd中。点击Open easy setting->Virtual Accounts。点击add，在ke
2016-07-15 17:42:35
810
转载 windows如何使用ssh登录ubuntu
1.ssh的安装gavin@ubuntu:~$ sudo apt-get install ssh2.生成密钥[html] view plain copy print?gavin@ubuntu:~$ ssh-keygen [plain] view plain copy print?Gen
2016-07-15 15:46:05
7352
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人