- 博客(64)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 在Spark中实现map-side join和reduce-side join
看过一篇能浅显易懂地解释spark的map-side join与reduce-side join
2023-02-03 10:18:32
441
原创 Cannot initialize Cluster. Please check your configuration for mapreduce.framework .name and the cor
背景利用ambari搭建的新环境，跑数据出现了不少问题，但如下问题困扰了很长时间，直到今天才得以解决，每次报错。按照网上的各种方式都不行。我知道问题点肯定在spark2.3.1 集成hive3.1.0的版本问题上，因为hive3.1.0新增了很多功能，如事务等，发布时间没有长时间的积累，出问题很容易不受控制。环境采用ambari2.7.1 + spark2.3.1 + hadoop3.1.1 + hive3.1.0scala2.11.8, jdk1.8代码// 可以正常打印
2021-01-11 18:14:03
3079
原创 Gremlin提交参数过多导致：The max number of supported arguments is 255, but found的错
背景当前业务中遇到一个场景，为了提高查询效率，比如会一次要查询多个顶点详情，但是当传入的点过多时，会报参数过多的限制异常。代码client的获取后续会在其它文章中补充@Test public void bigSubmitTest() throws ExecutionException, InterruptedException { Client client = G...
2020-03-09 18:45:21
1675
3
原创 janusgraph重建索引时报异常Update action [REINDEX] cannot be invoked for index with status [INSTALLED]
背景因为有批数据先插入了，但忘了建索引了，于是，再建索引后，重新索引数据，不过执行时报异常：Exception in thread "main" java.lang.IllegalArgumentException: Update action [REINDEX] cannot be invoked for index with status [INSTALLED]代码JanusGraph...
2020-02-25 18:45:18
586
3
原创 java.lang.IllegalStateException: The vertex or type is not associated with this transaction
经过给字段建索引时，报异常。java.lang.IllegalStateException: The vertex or type is not associated with this transaction [person_name]代码StandardJanusGraph standardGraphFactory = GraphUtil.getStandardGraphFactory...
2020-02-24 11:35:04
364
原创 JanusGraph给Label添加载字段属性时报org.janusgraph.core.SchemaViolationException异常
经过janusgraph没有表的概念，但有类似表的schema的定义，称为label。如：我们可以通过graph.openManagement().makeVertexLabel().make()方法来创建顶点label。那么存在了类似表的label，是否就有类似表字段类似的定义，答案是肯定的。janusgraph中用propertykey的定义来替代常用表的属性作为解决方案。但是和关系型数据...
2020-02-24 10:55:56
1154
原创 启动GremlinServer服务时报异常：IllegalArgumentException: Vertex Label with given name does not exist: user
背景启动gremlin - server服务时报如下异常：34180 [main] WARN org.janusgraph.graphdb.database.idassigner.placement.PartitionIDRange - Individual key range is too small for partition block - result would be empty...
2020-02-19 16:43:51
1373
原创 JanusGraph-应用端提交gremlin删除语句时报异常
背景采用连接gremlin server的方式，提交删除表数据，数据量大根在14000条左右，但删除报错了。代码String str = DataUtil.getStr(vertexLabels); GremlinServer.GremlinServerClient gremlinServerClient = GraphUtil.getGremlinServerClient(...
2020-02-18 18:48:29
2000
1
原创 连接JanusGraph报异常：ExecutionException:javax.security.auth.login.LoginException: 没有为none配置 LoginModules
连接JanusGraph报异常：java.util.concurrent.ExecutionException: javax.security.auth.login.LoginException: 没有为none配置 LoginModules因为采用了用户名密码连接，把客户端的yaml配置文件中的jaasEntry: noneprotocol: none两个配置注释掉就OK啦...
2020-02-16 23:41:00
1846
原创 JanusGraph创建索引时出现异常：java.lang.IllegalArgumentException: Name cannot be in protected namespace: label
JanusGraph创建索引时出现异常：java.lang.IllegalArgumentException: Name cannot be in protected namespace: label在创建janusgraph的边索引时，报如下异常，经过排查。关键代码如下：for (Map.Entry<String, String> entry : fields.entrySe...
2020-02-14 15:53:51
477
原创 通过Gremlin-Console连接JanusGraph的几种方式
背景janusgraph的资料比较少，而且比较散，所以笔者在这里，统一一下。JanusGraph有很多种连接的方式，以下将会通过从gremlin console及Java的客户端的方式一一介绍。通过Gremlin console连接在连接之前，首先把配置好gremlin server的服务并启动。如下，因为我搭建的是集群环境，所以指定了多个hosts。分别启动192.168.1.244,...
2020-01-21 12:12:00
2861
原创 JanusGraph使用过程中的问题
1. 背景JanusGraph的资料比较少，而且大家也都不愿意将成果贡献出来，所以打算将一些知识汇总，然后挖掘。现准备此帖，来收录大家的遇到的问题。如果有没收录的，希望看到的同学能留言，经确认或解决后，均会更新。提供问题格式如下：JanusGraph版本：0.4.0JanusGraph部署模式：janusgraph-server * 1 + hbase * 3 （独立环境） + elasti...
2020-01-20 16:58:33
2124
2
原创 JanusGraph进行索引操作时异常SchemaViolationException
背景想把诸神的图数据插入到数据库，代码如下：//Create Schema JanusGraphManagement management = graph.openManagement(); final PropertyKey name = management.makePropertyKey("name").dataType(String.class).mak...
2020-01-20 16:24:06
1137
原创 JanusGraph端查询异常：exception.ResponseException: Undefined type used in query: created
背景解决了之前的异常问题后，发现还是连接报错， JanusGraph端查询异常：exception.ResponseException: gremlin-groov y is not an avilable GremlinScriptEngine，错误如下：问题解决过程单纯看这个错，实际上没有任何帮助，甚至会有所误导，找了很多资料，没有帮助，但感觉还是配置出了问题。所以从网上找了一些别人的...
2020-01-19 11:22:51
881
原创 JanusGraph端查询异常：exception.ResponseException: gremlin-groov y is not an avilable GremlinScriptEngine
背景对janusgraph的各个方面进行调研，包括性能测试，当然首先得把环境搭建起来。然后将数据录入进去，但当数据录入完后，在进行查询时报错了。网上的资料很少，对于这个JanusGraph的研究，其实加了一个社群的人并不少，只是对于这个项技术的调研分享个人觉得大家都太过封闭了，所以还是靠自己吧，有了一些研究成果，在接下来的一段时间里会慢慢公布。不得不吐槽一下，网上大部分的资料都是互相抄的，而且...
2020-01-19 11:09:08
2406
1
原创 连接Janusgraph时报Unable to determine Elasticsearch server version. Default to FIVE.异常
连接Janusgraph时报Unable to determine Elasticsearch server version. Default to FIVE.异常采用的 janusgraph + hbase + es的集群模式，但通过gremlin.sh的console连接janusgraph服务时的如下错：gremlin> graph = JanusGraphFactory.open...
2020-01-16 14:47:20
1088
2
转载 mac 安装homebrew出错 Failed to connect to raw.githubusercontent.com port 443: Connection refused error:
折腾了好久，执行/usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”开始一直报错Failed to connect to raw.githubusercontent.com port 443: Connection refused error: Err...
2020-01-09 14:44:48
8741
1
原创 Yarn application has already ended! It might have been killed or unable to launch application master
提交SPARK任务时报org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.异常，如下：SLF4J: See http://www.slf4j.org/codes.html#multi...
2019-11-28 15:43:14
1382
1
原创 SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.
在提交spark任务时报，SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.的异常。Warning: Local jar /usr/local/spark-2.1.0-bin-hadoop2.6/conf/hdfs-site.xml does not ex...
2019-11-27 20:53:41
668
原创 GitKraken使用Beyond Compare合并代码
背景GitKraken是一款git代码管理工具(macos, windows都可用)，之前接触的一直都是idea, 在偶然的机会认到GitKraken后，发现这款工具确实很优秀，在之后会详细介绍这款GitKraken的使用。目前是配合idea一起使用。Beyond Compare是一款文件对比工具，犹如beyond的歌声，让众多开发者对这款工具，过目不忘，使用过的人都知道绝对的神器之一。好...
2019-11-23 11:28:40
1200
原创 将hbase数据备份至hive
背景由于同事误操作, 将原先由hive中导至hbase中的原数据的表全被删除了, 现需要使用hive中的数据. 我将采取以下方式进行.注意: 由hive导至hbase中的数据是通过程序导的, 它们的主键并不一致, 所以在紧急需要使用的情况下, 共11张表, 我选择了先建立hbase的外部表, 然后再建立hive内部表, 再将数据清洗至Hive的内部表中.建hive外部表方式构建h...
2019-10-10 00:49:43
483
原创 IDEA调试SparkSQL时报异常This timeout is controlled by spark.executor.heartbeatInterval
背景在调试sparksql报如下异常报错主要异常为org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterval发现语句的后面有张表不存在, 先解决该问题ok解决了...
2019-10-08 20:26:03
4358
原创 给Git上的代码新建分支并提交当前代码
背景因为改了其它项目组维护的代码, 老大要我给项目新建一个单独自己维护过程在当前的项目根目录下, 分别执行如下命令.git branch dev_forLoadDatagit checkout dev_forLoadDatagit put origin dev_forLoadData...
2019-09-29 16:55:55
2989
原创 Mac免密登陆Linux服务器
背景尝试过用expect命令，secureCRT，发现还是很麻烦，不够便捷。于是尝试用ssh的命令，将公钥上传到服务器上，只要首次输入密码后，之后就不再需要了。过程安装ssh-copy-id因为mac系统没有ssh-copy-id命令，所以先要安装该工具在mac控制台执行命令curl -L https://raw.githubusercontent.com/beautifulcode/...
2019-09-24 10:56:37
938
转载 Kudu与HBase的区别与联系
背景今天面试，被问到了，Kudu与HBase的区别，说了几条，但我觉得答得还不是很好，为此记录一下。增加印象。然后网上也找了一些，资料，觉得这编文章总结得很全面。如下：前提hbase的物理模型是master和regionserver，regionserver存储的是region，region里边很有很多store，一个store对应一个列簇，一个store中有一个memstore和多个st...
2019-08-15 23:40:21
765
转载 OLTP与OLAP的介绍
简介数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP 系统...
2019-08-14 12:55:24
217
原创 16进制、2进制、10进制数的转换
16进制2进制10进制0x000000000000x010000000110x020000001020x030000001130x040000010040x050000010150x060000011060x070000011170x080000100080x09000010019...
2019-08-13 15:11:46
6136
1
原创 服务器的1U ,2U分别是什么意思？
在《kudu构建高性能实时数据分析存储系统》书中，讲到kudu的管理时，涉及到了服务器的知识，比如作者提到的，1U, 2U，为此，网上到了回答，在此记录一下。其实U是一种表示服务器外部尺寸的单位，是unit的缩略语，详细尺寸由作为业界团体的美国电子工业协会（EIA）决定。之所以要规定服务器的尺寸，是为了使服务器保持适当的尺寸以便放在铁质或铝质机架上。机架上有固定服务器的螺孔，将它与服务器的螺孔...
2019-08-11 23:40:08
4759
原创 Kudu-Java-api操作表(DDL)
目录背景创建表结构单主键设置联合主键设置删除表，添加删除字段背景如前面几篇文章所述，kudu的环境已经搭建好了，剩下就是对kudu-api的上手操作了。本次主要是创建表，添加，删除字段。创建表结构 private static final String KUDU_MASTERS = "192.168.220.145"; private static final Logger...
2019-08-09 15:57:35
5230
原创 在已有的Hadoop集群中安装Kudu
目录背景安装前准备查看集群环境并确定服务安装位置查看centos系统版本安装依赖包配置cloudera-kudu.repo源安装kudu-master修改配置启动安装kudu-tserver修改配置启动界面结论背景1、网上找了很多资料，所有的安装Kudu的教程都是从cloudera-kudu（即CDH-kudu），而我们公司及身边的朋友基本也没用CDH版的，而且是用的apache hadoop...
2019-08-08 14:27:40
972
转载 Hive调优：让任务并行执行（hive.exec.parallel）
目录业务背景优化策略方案一方案二业务背景extract_trfc_page_kpi的hive sql如下：set mapred.job.queue.name=pms;set hive.exec.reducers.max=8;set mapred.reduce.tasks=8;set mapred.job.name=extract_trfc_page_kpi;insert overw...
2019-08-05 11:25:31
10719
原创 使用docker安装并启动kudu
目录背景下载docker-kudu镜像简单方式启动比较冗长的方式背景之前尝试过用docker中安装centos再编译安装kudu，虽然安装成功了，但启动调试时出现了很多错误，一时无法解决该问题，但为了快速上手，最后还是使用docker中直接安装启动kudu的方式。下载docker-kudu镜像1、进入docker官网，并搜索kudu关键词,找到kunickiaj/kudu镜像虽然第一个...
2019-08-02 13:04:20
10837
4
原创 centos6.7编译安装kudu
目录背景安装前准备安装依赖包安装并配置Git安装配置克隆kudu代码（失败）升级GIT随后再克隆Kudu代码安装依赖包编译安装再次克隆kudu代码（成功）背景此centos6.7是安装在docker中的，安装方式一样。安装前准备安装依赖包yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-...
2019-08-01 15:00:03
507
2
原创 docker yum安装时出现Error: database disk image is malformed的错误
背景使用docker创建centos6.7时，第一次分了disk image max size为60G，没想到在安装kudu时，60G全部用完了，后来在docker settings中改了配置后，重启后，镜像居然被初始化了，泪。改完后，进入centos重新安装服务时，发现报如下的错后来风上查找的原因是因为缓存出了问题。解决办法依次执行以下命令：yum clean metadatay...
2019-07-31 10:18:57
534
原创 win10下docker安装centos，并通过xshell连接
目录背景安装前准备安装查看镜像拉取镜像运行centos进入centos配置安装并启动ssh服务安装vim命令配置sshd_config文件重启服务配置xshell背景docker安装好后，开始着手准备安装centos6.7了，因为kudu官网中要求是centos系统环境在6.6以上7版本以下，所以这里选择是6.7版本。centos安装完后，就可以开始安装kudu啦。安装前准备其实docke...
2019-07-30 16:13:53
2962
1
原创 win10 安装并配置docker
目录背景安装前准备下载安装Docker并配置下载安装配置背景因工作需要及环境限制，所以想搭个docker，然后安装并熟悉Kudu。如果想详细了解docker可以参阅：Docker-从入门到实践安装前准备因为安装docker和安装vitrual box, vmware等虚拟化软件一样，会用到虚拟化技术，而计算机是否能进行虚拟化，主要还是要看该设备的CPU是否支持并开启了CPU虚拟化。如下：...
2019-07-30 15:19:21
1237
转载 Kafka/Metaq设计思想学习笔记
Kafka/Metaq设计思想学习笔记 摘要Kafka是一个非常优秀的MQ系统，里面的设计思想非常独特。本篇是Kafka/Metaq设计思想学习笔记kafkametaqmq目录[-]概念和术语基本工作机制架构示意生产者，Broker，消费者处理消息过程DFX顺序性可靠性Broker存储消息机制Broker灾备性能异常处理消息重复生产者的负载均衡和failov
2014-05-19 11:05:59
1308
计算广告 互联网商业变现的市场与技术
2016-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人