java
大师兄你家猴跑啦
主要Java 、spark 、大数据技术
展开
-
源码编译Apache Ranger
1、从官网下载源码包http://ranger.apache.org/download.html;本文选择apache-ranger-1.1.0.tar.gz的包;2、 依赖的环境2.1 Jdk8;2.2 mven 3.52.3 gityuminstallgit2.4 gcc yuminstallgcc 2.5MySQL3、...原创 2021-04-04 18:15:17 · 562 阅读 · 0 评论 -
Hibernate Space is not allowed after parameter prefix ':'
1、数据库表的设计如下:DROP TABLE IF EXISTS `crawler_device`;CREATE TABLE `crawler_device` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `vendor_name` varchar(32) NOT NULL COMMENT '终端制造商名称', `ve...原创 2018-08-08 16:45:13 · 1192 阅读 · 0 评论 -
使用jsoup选择器来查找元素
一、用途使用jsoup解析网页,抓取手机型号和系统信息;二、获取方式例子:/** * 获取终端制造商链接列表 * * @return */ public List<VendorVo> getVendors() { List<VendorVo> ret = new ArrayList<>(); //要爬的网...原创 2018-08-07 18:23:08 · 1882 阅读 · 0 评论 -
ParameterizedType应用,java反射,获取参数化类型的class实例
ParameterizedType是一个接口,这个类可以用来检验泛型是否被参数化比如:class Dao<T>{ public Dao(){ }}上面的这个类,也就是泛型类,当有子类集成它的时候,子类也许会将其参数化,当然也可能不进行参数化比如我们在这样的子类中:class SubDao extends Dao<Student>{}这个我们就是在子类集成的时候将D...转载 2018-07-04 14:43:23 · 1043 阅读 · 0 评论 -
Impala/Hive UDF编写
一、说明 编写Impala UDF和Hive UDF 其实是一回事;大致分为以下两种添加UDF; (1) 编写Hive的UDF后,登陆impala-shell ,invalidate metadata; (2) 编写impala 的UDF,指定UDF的jar包所在位置和返回值的类型;二、编写hive UDF (按照永久的处理的,但是还是一个session结束后没有了;还是临时的...原创 2018-05-25 15:56:04 · 1140 阅读 · 0 评论 -
TaskCommitDenied 警告
1、在开启了spark.speculation参数后宝如下警告:参数:spark.speculation true18/04/26 19:29:14 WARN scheduler.TaskSetManager: Lost task 1930.1 in stage 4.0 (TID 3793, 192.168.200.175): TaskCommitDenied (Driver deni...原创 2018-05-04 11:03:12 · 3500 阅读 · 0 评论 -
PlainBinaryDictionary错误;
1、具体错误18/05/04 11:10:52 ERROR datasources.InsertIntoHadoopFsRelationCommand: Aborting job.org.apache.spark.SparkException: Job aborted due to stage failure: Task 11 in stage 22.0 failed 4 times, most...原创 2018-05-04 11:12:31 · 4640 阅读 · 0 评论 -
pivotMaxValues报错
1、出现错误的操作 在列转行且用指定的列的值填充时报错,且列转行的字段个数超过10000个;2、具体错误Exception in thread "main" org.apache.spark.sql.AnalysisException: The pivot column field_name has more than 10000 distinct values, this could i...原创 2018-05-04 10:46:50 · 533 阅读 · 0 评论 -
Spark GC overhead limit exceeded
1、在运行spark 代码时,抛出错误:18/03/24 08:52:00 WARN server.TransportChannelHandler: Exception in connection from /192.168.200.164:37768java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io...原创 2018-04-24 14:02:40 · 7801 阅读 · 0 评论 -
matlab 调用java 代码(亲测可用)
注意选择合适的版本,我的用matlab2016a ,myeclipse 导出jar文件(jdk1.7)matlab有多重方法可以实现对Java类的调用,如将java类编译成class文件放入matlab的,但更多时候,我们更希望把一个完整的java小项目导入matlab中调用,这时候,我们可以把项目打成jar包,再导入matlab中,下面讲讲这种实现: 1. 使用eclipse等软件或转载 2017-12-07 13:42:01 · 6001 阅读 · 0 评论 -
正则表达式语法
正则表达式语法字符说明\将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如,"n"匹配字符"n"。"\n"匹配换行符。序列"\\"匹配"\","\("匹配"("。^匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与"\n转载 2017-12-07 13:40:57 · 146 阅读 · 0 评论 -
SLF4J
日志是任何项目中最重要的东西之一,特别是遇到多线程环境下高压力导致的并发bug时。但是在实际项目中有使用slf4j-api、slf4j-log4j12还有log4j的,作为程序员到底应该使用哪一种呢?要使用他们,我们首先要理清楚他们之间的关系。简单日记门面(simple logging Facade for java)SLF4J是为各种loging APIs提供一个简单统一的接口,转载 2017-12-07 13:40:41 · 848 阅读 · 0 评论 -
SFTP服务器文件下载
1、 下载文件java代码public class FTPUtils {private static Logger log = Logger.getLogger(SFTPUtils.class.getName());public static boolean batchDownload(String hostname, int port, String u原创 2017-12-08 14:50:56 · 640 阅读 · 0 评论 -
实现Comparable接口报错:Comparison method violates its general contract!
1、代码(利用Collections.sort()方法对list进行排序) public static List> getSortList(String filePath) throws FileNotFoundException{ BufferedReader reader=null; Map pairFeatures = new HashMap Li原创 2017-12-08 14:49:58 · 1520 阅读 · 0 评论