- 博客(16)
- 收藏
- 关注
RSS订阅原创 Flume 1.8 写kafka到不同主题和不同分区 （随机）配置
logcollect.sources.taildir-source.interceptors =interceptorlogcollect.sources.taildir-source.interceptors.interceptor.type = regex_extractorlogcollect.sources.taildir-source.interceptors.interceptor...
2019-03-14 14:28:29
1239
转载 hadoop2.7.1编译安装及碰到的问题
编译命令：mvn package -Pdist,native,docs -DskipTests -Dtar最好-p不带docs太费时间。直接用mvn package -Pdist,native -DskipTests -Dtar编译完成后的bin版本在目录 hadoop-dist下，跟从官网直接下载非src版本类似。为提高下载速度，修改maven 源库，用*只从oschina找，有些它那...
2018-12-12 09:24:38
3042
转载 K―means算法在电子商务推荐系统中的应用
1 协作型过滤技术当前主流的推荐系统都是采用被称为协作型过滤的技术，该算法基于一个假设，即为用户找到他感兴趣的内容的方法是首先找到与其兴趣相似的用户，然后将这些用户感兴趣的内容推荐给目标用户。其通用做法是对海量用户进行搜索，并从中找出与目标用户相似度最高的部分用户。算法会对所有用户进行考查，并进行组合构造出一个经过排名的推荐列表。协作型过滤分为：基于用户的协作型过滤和基于物品的协作型过滤。1...
2018-12-11 10:52:07
1981
转载 单例模式的7种写法
第一种（懒汉，线程不安全）：1 public class Singleton {2 private static Singleton instance;3 private Singleton (){}4 public static Singleton getInstance() {5 if (instance == null) {6 in...
2018-12-06 18:52:24
111
转载 乐观锁CAS实现
在深入理解乐观锁与悲观锁一文中我们介绍过锁。本文在这篇文章的基础上，深入分析一下乐观锁的实现机制，介绍什么是CAS、CAS的应用以及CAS存在的问题等。线程安全众所周知，Java是多线程的。但是，Java对多线程的支持其实是一把双刃剑。一旦涉及到多个线程操作共享资源的情况时，处理不好就可能产生线程安全问题。线程安全性可能是非常复杂的，在没有充足的同步的情况下，多个线程中的操作执行顺序是不可预测...
2018-12-06 15:41:40
268
转载 HBASE日常维护
一，基本命令：建表：create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION ...
2018-12-06 11:09:33
293
原创 spark sql执行 phoenix 插入upsert 过程代码分析
spark2.2phoenix 5.8.0spark中执行phoenix代码如下： public void save2Table(SparkSession sparkSession, Dataset<Row> df, String tableName) { df .write() .format...
2018-12-05 18:07:52
1518
原创 一次phoenix大表删除数据超时导致hbase和phoneix启动不了的解决过程
phoenix有一个大表，数据其实也不算太多。300多万条记录，另外还有5-6个二级索引表。在sqlline.py里执行delete命令，超时，数据删除剩下80多万条，继续执行delete命令。。。大事不好了。。。1.执行stop-hbase.sh 超时，关闭不了2.启动hbase shell：报：ERROR:org.apache.hadoop.hbase.PleaseHoldExcept...
2018-12-05 12:41:43
2523
转载 Scala基础 - 下划线使用指南
https://my.oschina.net/joymufeng/blog/863823下划线这个符号几乎贯穿了任何一本Scala编程书籍，并且在不同的场景下具有不同的含义，绕晕了不少初学者。正因如此，下划线这个特殊符号无形中增加Scala的入门难度。本文希望帮助初学者踏平这个小山坡。用于替换Java的等价语法由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基本的语法在Sc...
2018-12-04 15:58:03
93
原创 大数据平台hbase,phoenix,spark搭建和研发问题和解决方式汇总
#QCaused by: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get$A<hadoop.version>2.7.3</hadoop.version>#QCaused by: java.net.UnknownHostException: mycluster$...
2018-12-04 13:19:27
3507
1
转载 Spark array操作 How to convert column of arrays of strings to strings?
have a column, which is of type array < string > in spark tables. I am using SQL to query these spark tables. I wanted to convert the array < string > into string.When used the below synt...
2018-12-01 16:52:13
1357
1
原创 spark2.x不支持phoenix4.8 悲剧
Spark 2.x isn’t currently supported in a released Phoenix version, but isslated for the upcoming 4.10.0 release.If you’d like to compile your own version in the meantime, you can find theticket/pat...
2018-11-30 15:31:48
816
2
原创 Spark standalone集群cluster模式下的部分坑
#iptable 的规则只保存在内存中，需要调用service iptable save保存在文件里，iptable service需要另外安装。#spark在standalone集群模式下需要把jar包放在HDFS下，否则找不到jar包。#spark运行jar application，logback冲突，需要在springboot里禁用logback。...
2018-11-28 17:34:59
444
转载 springboot禁用 log
Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl...
2018-11-28 17:18:41
2384
转载 Failed to submit local jar to spark cluster: java.nio.file.NoSuchFileException
The standalone mode cluster wants to pass jar files to hdfs because the driver is on any node in the cluster.hdfs dfs -put xxx.jar /user/spark-submit --master spark://xxx:7077 –deploy-mode cluster ...
2018-11-28 16:46:02
1794
转载 SoftReference
Project: fitnotifications File: ZoneMeta.java View source code 6 votes vote down vote up/** * Returns an immutable set of system time zone IDs. * Etc/Unknown is excluded. * @return An immu...
2018-11-27 18:20:50
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人