自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

周源的专栏

大数据Hadoop生态圈最新前沿技术研究 包括架构设计、解决方案、应用开发、安全领域、集群规划部署等

  • 博客(210)
  • 资源 (2)
  • 论坛 (1)
  • 收藏
  • 关注

原创 医疗Presto和GreenPlum选型测试报告

注:数据尽可能模拟现场,环境亲手搭建,测试结果真实有效,转载请注明版权所有—作者:周源(网名 源神)医疗Presto和GreenPlum选型测试报告测试背景本次测试针对现有Oracle(12c)、Hive(3.1.0)、SparkSQL(2.3.2)、Presto(0.229)、TiDB(3.0.8)、GreenPlum(6.1.0) 基础性能测试。我们采用单大表和多表关联,分别对比不同...

2020-02-26 16:28:41 820 1

原创 Flink 1.10.0应用场景,kakfa->flink->kafka/mysql/es/hive/hdfs

Flink 1.10通过开发将Hive集成到Flink,可用于生产环境。Flink 1.10.0部署文档:https://blog.csdn.net/RivenDong/article/details/104416464应用场景:1、kafka->flink->kafka:https://mp.weixin.qq.com/s/mokYFllNwvObW...

2020-04-24 09:54:47 326

原创 大数据分析工程师,从零入门,技术栈选型(一)

一、基本技能树:二、技术栈选型(个人):Excel+SPSS+SQL+Python+PPT+Tableau(数据可视化工具,同类BI产品如帆软FineBI)

2020-03-31 09:23:01 413

原创 Hive Tez报错:errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space

ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1582200549031_0142_2_02, diagnostics=[Task failed, ...

2020-02-26 14:20:21 407

原创 TiDB插入报错:transaction too large, len:300001

TiDB对事务的大小做了限制:单条 KV entry 不超过 6MBKV entry 的总条数不超过 30wKV entry 的总大小不超过 100MB解决办法:set session.tidb_batch_insert=1;insert into tselect * from tt;set session.tidb_batch_insert=0;...

2020-02-25 14:38:03 965

原创 ambari 2.7.3通过hdfs超级用户,来为普通用户分配访问hive权限

sudo -u hdfs hdfs dfs -setfacl -m user:root:rwx /warehouse/tablespace/managed/hive选项:-b: 删除基本ACL条目以外的所有条目。保留用户,组和其他条目以与权限位兼容。-k: 删除默认ACL。default-R: 以递归方式将操作应用于所有文件和目录。常用。-m: 修改ACL。新条目将添加到ACL,并保...

2020-01-20 13:33:02 724

原创 hue 连接hbase 2.0.2报错:PopupException: Api Error: TSocket read 0 bytes

1、先要启动 hbase thrift service,ambari HDP 默认没有启动hbase thrift,需要自己手动启动。在HBase Master节点上执行:# su - hbase# /usr/hdp/current/hbase-client/bin/hbase-daemon.sh start thrift2、hue官网查询需进行如下配置:3、thrift....

2019-12-28 23:52:39 736

原创 hue4.5支持spark2的采用interface=sqlalchemy配置

需要执行如下命令:./build/env/bin/pip install pyhive./build/env/bin/pip install thrift_sasl配置文件hue.ini内容如下:[[[sparksql]]] name=SparkSql interface=sqlalchemy options='{"url": "hive://...

2019-12-27 12:48:22 261

原创 hue 配置 sparksql连接报错:Missing Required Header for CSRF Vulnerability Protection

原因:ambari后台需修改spark2配置参数livy.server.csrf_protection.enabled设置为false,重启服务

2019-12-27 11:52:57 170

原创 Ambari 2.7.3安装Oozie报错org.apache.catalina.mbeans.ServerLifecycleListener

/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.http/conf/ssl/server.xml/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.http/conf/server.xml/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.https/conf...

2019-12-27 09:53:17 94

原创 ambari版本手动降级操作

导出ambari数据库:pg_dump -h $ambari_db_host -p 5432 -U ambari ambari > /opt/backup_data/ambari.sql降级版本:# yum downgrade ambari-server进入postgres,# su - postgres# psql删除ambari数据库(drop database amba...

2019-12-09 19:09:49 181

原创 Ambari 2.7.4编译报错

[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:webpack (webpack build) on project ambari-logsearch-web: Failed to run task: 'webpack.js -p' failed. org.apache.commons.exe...

2019-12-06 18:18:05 292 1

原创 Anaconda3(python3.7)环境迁移离线部署

将已部署好的/root/anaconda3/envs/python37虚拟环境的目录打包为python37.tgz,进入目录:# cd/root/anaconda3/envs/# tar cfz python37.tgz python37将python37.tgz和安装包Anaconda3-2019.10-Linux-x86_64.sh拷贝到离线服务器上执行:# sh Anaco...

2019-11-29 10:01:24 1348

原创 Hive增量更新方案

Hive增量更新方案方案一(总结出来业界可行方案):1、Hive原始表提前规划好以时间分区,初始化装载源库记录为base_table(最新数据)2、每个相关表都会有一个timestamp列,对每一行操作做了修改,都会重置这列timestamp为当前时间戳;3、新增数据通过sqoop(支持当天抽取)或者导出当天文件两种形式,抽取或导入到hive表,记录为新增表incremental_tabl...

2019-11-07 16:08:54 4823 1

原创 hadoop 3.1.1集群中安装kylin 3.0.0启用报错

kylin版本:apache-kylin-3.0.0-beta-bin-hadoop3HDP版本:3.1.0.01、Permission denied: user=root, access=WRITE, inode="/kylin":hdfs:hdfssu - hdfshdfs dfs -mkdir /kylinhdfs dfs -chmod a+rwx /kylin2、S...

2019-11-07 11:55:18 1289 1

原创 kerberos合并多个keytabl文件命令

合并key使用ktutil 合并前面创建的keytab#ktutilktutil: rkt user1.keytabktutil: rkt user2.keytabktutil: wkt user.keytab查看:klist -ket user.keytab

2019-10-23 10:34:02 1252

原创 ambari安装报错:Ambari agent machine hostname (localhost.localdomain) does not match expected ambari

1.查看各个节点的hostnamehostname -f2.检查各个节点的hosts文件sudo vi/etc/hosts# 检查IP对应的hostname是否正确# 以下原有的2行不能删除,否则会引发其它异常127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6个人...

2019-10-21 14:40:42 340

原创 tomcat报:The valid characters are defined in RFC 7230 and RFC 3986

修改tomcat配置文件server.xml,在Connector配置项添加红色标记部分<Connectorport="8080"protocol="HTTP/1.1"connectionTimeout="20000"relaxedQueryChars="[]|{}^&#x5c;&#x60;&quot;&lt;&gt;"redirectPor...

2019-09-30 16:05:57 51

原创 迁移数据后,hive执行sql count统计语句报错

ERROR : Failed to execute tez graph.org.apache.tez.dag.api.TezUncheckedException: Invalid TaskLaunchCmdOpts defined for Vertex Map 1 : Invalid/conflicting GC options found, cmdOpts="-server -Djava.ne...

2019-09-16 12:44:57 181

原创 hive数据迁移(跨集群,中文乱码问题)

命令:hadoop distcp -skipcrccheck -update hdfs://132.bd:8020/tmp/ds10/ hdfs://chinacreator/tmp/ds10/在目标集群上执行此命令源地址:hdfs://132.bd:8020/tmp/ds10/目标地址:hdfs://chinacreator/tmp/ds10/-skipcrccheck 因本次...

2019-09-12 15:07:10 204

原创 oracle库中所有表一次性转hive表结构脚本

select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) con from (select n.table_prefix, wm_concat(m.col_str) as col_strs, n.table_subfix f...

2019-08-27 11:32:48 420

原创 Hive自定义函数UDF在hue中或切换数据库后无法查询问题

当前库有效:CREATE FUNCTION to_char AS 'com.creator.hive.udf.to_char' using jar 'hdfs://hacluster/user/hive_udf_jars/hive_udf.jar';全局有效:add jar hdfs://hacluster/user/hive_udf_jars/hive_udf.jar;CREA...

2019-07-12 18:02:41 530

原创 中兴大数据DAP联调问题总结

登录DAP下载了相关的*.xml文件,提交任务报错发现了如下问题:参数:mapreduce.framework.name缺少现象:导致提交到yarn上的任务走local本地模式参数:mapreduce.jobhistory.address缺少现象:任务跑完后,报:Caused by: java.net.ConnectException: Call From hnidc-goldenda...

2019-07-05 18:32:02 251

原创 Configuration property 'discovery-server.enabled' was not used

安装presto时worker启动失败,注释掉woker节点中(etc/config.properties):discovery-server.enabled=true再启动即可

2019-06-05 14:17:41 848

原创 hadoop dfs -ls / 显示不出来killed掉了,报错Java heap space

问题原因:根目录下生成太多的小文件,导致元数据加载到client客户端时会引起内存不足解决办法:加大HADOOP_CLIENT_OPTS的配置,export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -ls /发现hadoop根目录都是*...

2019-06-03 11:33:10 376

原创 Hive跨集群数据迁移

参考链接:方式一:拷贝表结构:#!/bin/bashrm -f databaseshive -e " show databases; exit ;" > databases#sleep(2)rm -rf ./tables/*mkdir -p ./tablesrm -rf ./desc_table/*mkdir -p ./desc_tablefor databas...

2019-05-24 11:48:09 1117

原创 Could not find or load main class org.apache.hadoop.fs.FsShell

hadoop常用命令,例如hdfs dfs -ls出现如上报错,发现配置文件/etc/profile中包含$HADOOP_COMMON_HOME注释掉在source/etc/profile即可。注:当您有多个hadoop实例时,通常会发生这种情况,检查哪个hadoop并查看它是否指向您已安装的版本。如果它指向/ usr / bin / hadoop而不是/ ...

2019-05-17 09:39:01 960

原创 kadmin: Operation requires ``extract-keys'' privilege while changing hnsw@HADOOP.COM's key

想要管理 KDC 的资料库有两种方式:kadmin.local:需要在 KDC server 上面操作,无需密码即可管理资料库kadmin:可以在任何一台 KDC 领域的系统上面操作,但是需要输入管理员密码如果是kadmin.local操作,用户共享keytab文件可以用如下命令:ktadd -k /etc/security/keytabs/admin.keytab -norandk...

2019-04-09 14:55:27 1112 1

原创 Ambari 2.7.3版本编译报错各问题解决

执行编译命令:# mvn -B clean install rpm:rpm -DnewVersion=2.7.3.0.0 -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true -X1、报错:[DEBUG] Configuring mojo org.apache.rat:apache-rat-plugin:0.12:check...

2019-04-02 10:53:19 3443 7

原创 安装rpm-build包冲突

# yum install -y rpm-build报错:file /etc/rpm/macros.ghc-srpm from install of redhat-rpm-config-9.1.0-87.el7.centos.noarch conflicts with file from package epel-release-6-8.noarch解决方案:# yum er...

2019-04-01 13:13:22 975

原创 Kafka在FusionInsight HD中消费不到消息

1、权限控制,配置服务端和客户端“allow.everyone.if.no.acl.found”参数配置为“True”。2、如果总共只有两个broker节点,需修改配置参数offsets.topic.replication.factor为23、某些开发程序,有的秘钥文件keytab每台机器都可能需要放置(或者放hdfs上读取)4、如果spark代码中操作涉及到登录和kafka操作,客户...

2019-03-29 10:57:49 365

原创 Kylin重新设置密码登录不上:Overwriting conflict /user/ADMIN, expect old TS 1547448907000, but it is 15475148590

修改文件(先备份):/opt/apache-kylin-2.5.2-bin-hbase1x/tomcat/webapps/kylin/WEB-INF/classes/kylinSecurity.xml这串及是加密内容。问题现象:登录提示:System error, please contact your administrator.F12查看反馈内容:&lt;!docty...

2019-02-15 10:34:11 1670

原创 FusionInsight HD 初始化新实体失败 RoleInstance cleanup failure

此次是因为配置的DNS的原因,个人将配置ip(命令:# ip addr)的/etc/sysconfig/network-scripts对于网口名称文件内容里的DNS1(多个一样注释)注释掉,重启下网口即可# systemctl restart network查看下:# cat /etc/resolv.conf,是否还存在DNS的配置,同样也需要注释掉。注:安装前,1、需要检查防火墙是否...

2019-01-28 11:01:32 343

原创 Ambari自定义接入Redis 5.0.2

1、下载Ambari Redis自定义接入框架:https://github.com/Symantec/ambari-redis-service/var/lib/ambari-server/resource/statck/HDP/2.6目录下创建REDIS目录,注意大写,将框架代码下载到此REDIS目录下,将 metainfo.xml版本号全改为5.0.22、下载Redis RPM包:ht...

2018-11-30 16:01:49 1289

原创 Hadoop常用操作HDFS命令

(1)查询:hadoop dfs -ls /(2)创建目录:hadoop dfs -mkdir -p /tmp/zy(3)本地文件拷贝至hdfs:hadoop dfs -put test.txt /tmp(4)查看文本内容:hadoop dfs -cat /tmp/test.txt(5)hdfs上文件下载至本地:hadoop dfs -get /tmp/test.txt /home/sgs...

2018-11-16 09:23:38 171 1

原创 Hive常用shell命令

(1)创建数据库:create database zy_test;(2)显示所有数据库:show databases;(3)使用某数据库:use sgs_test;(4)显示所有表:show tables;(5)创建表:create table zy_test(name string);(6)描述表:desc sgs_test.zy_test;(7)本地导入hive:load data...

2018-11-16 09:22:10 384

原创 HBase常用命令行操作

HBase(hbase shell进入):(1)创建命名空间:create_namespace 'zy_test'(2)创建表:create 'zy_test', {NAME =&gt; 'f1', VERSION =&gt; 2}(3)查询命名空间:list_namespace(4)列出表:list个人在命名空间sgs_test内进行操作,如果在默认命名空间操作,如下命令可以不带前缀...

2018-11-15 14:05:04 169

原创 Ambari Hue接入安全认证Kerberos连接HDFS,报错 Cannot access: /.

Hue开始在python源码中添加打印出异常信息:[15/Nov/2018 08:56:56] "GET /hbase/api/getTableList/Cluster1?_=1542242641611 HTTP/1.1" 200 9292----------message:500 Server Error: Internal Server Error for url: http://138...

2018-11-15 12:02:07 1102

原创 Hive查询count(*)和count(1)显示为0,但表中存在数据

进入hive shell,输入set hive.compute.query.using.stats=false,然后运行下查询语句,发现正常。对应Ambari中Hive组件的配置参数:修改后可能对查询性能稍微有点影响...

2018-11-06 13:11:13 5529

原创 ambari集成Impala,通过hive查询hbase表报错null

通过浏览器IP+25000或者25020端口访问,查看logs日志,发现zookerper连接配置的参数存在问题,显示连接/hbase,而我们ambari连接的应该是hbase-unsecure,怀疑是配置文件未加载导致。解决方案:缺少hbase的配置文件hbase-site.xml,将其拷贝的并分发到各个节点。cp /etc/hbase/conf/hbase-site.xml /etc/...

2018-11-01 17:02:33 291

Qt+Creator快速入门

Qt Creator快速入门 书比较大,分卷压缩的,解压时, part1和part2放在一起.本书是要讲解Qt creator开发环境的使用和Qt基本知识点的应用,适合没有Qt编程基础、有Qt编程基础但是没有形成知识框架以及想学习Qt中某一方面应用的读者阅读。

2014-10-14

Socket MFC简单聊天

Socket MFC简单聊天室 分为client和server项目

2013-08-14

源神的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除