- 博客(35)
- 收藏
- 关注
RSS订阅原创 【CK】clickhouse启动不来
第一个是：sudo journalctl -u clickhouse-server，查看ck服务启动的时候报错的错。第二个是：ck的报错日志。一般是在/var/log/clickhouse-server/如果ck自身日志没有的话估计就是启动前就报错了，而不是启动的时候报错。这里一看就很清晰了，清理后就会自启动了。ck没什么问题的话是会自启动的。如果发现ck起不来。
2022-11-30 11:10:10
2487
原创 社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore
社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore
2022-06-10 21:26:09
269
原创 【Kerberos】问题汇总 （持续更新）
1、kerberos下hdfs 的nn和jn通信问题记录2021-12-23 17:17:21,011 WARN SecurityLogger.org.apache.hadoop.ipc.Server: Auth failed for 172.16.82.190:41133:null (GSS initiate failed) with true cause: (GSS initiate failed)2021-12-23 17:17:24,530 WARN SecurityLogger.org.apa
2021-12-23 18:00:38
1731
原创 【Kerberos】beeline 上Hive sql执行问题
问题如图我明明是用的test的principal，beeline用的是hive的principal。但是提交用户竟然是hdfs。然后发现hive-env.sh里面有个。export HADOOP_USER_NAME=hdfs就是这里有影响但是去掉之后默认还是用的hdfs，这个我感觉是哪里给他声明掉了，比如hadoop？如果要覆盖的话直接设置上面的这个声明就ok，但是我现在不是想要这个效果。我需要分开做权限认证。...
2021-12-17 17:19:25
1395
原创 【Ranger-1.2.0 hdfs-plugin安装问题记录】
问题及解决#我使用test账户对 /tmp目录访问,权限如下#按照ranger的权限模型来说，hdfs自身权限拒绝掉之后会走到ranger这边看有无权限，我这里已经配置了权限。但是依旧没有权限访问因为开启插件后需要重启，我这里已经重启过了。再次想到的应该就是policy没有拉下来导致权限没有生效。也可以结合namenode日志看下。然后我就去排查了下…#policy的目录在/etc/ranger/$REPOSITORY_NAME/policycache/下果然…权限配置好了但是polic
2021-12-16 18:55:50
2172
1
原创 【Ranger】ranger-1.2.0 ranger admin安装问题记录
发现问题2021-12-14 20:09:28,460 [JISQL] /opt/dtstack/java/bin/java -cp /opt/ranger/mysql-connector-java-5.1.27-bin.jar:/opt/ranger/ranger-1.2.0-admin/jisql/lib/* org.apache.util.sql.Jisql -driver mysqlconj -cstring jdbc:mysql://172-16-82-76/ranger -u 'range
2021-12-15 11:41:46
1569
原创 【PostgreSQL】PostgreSQL-9.3安装流程
部署安装可参考文档：https://www.postgresql.org/docs/9.3/admin.htmlhttps://blog.csdn.net/wlwlwlwl015/article/details/52399739YUM源cat << EOF > /etc/yum.repos.d/pgdg-93.repo[pgdg90]name=PostgreSQL 9.3 RPMs for RHEL/CentOS 7baseurl=https://yum-archive.p
2021-12-15 11:37:40
2348
原创 【Greenplum】Greenplum-6.0安装过程记录
安装部署#rpm包wget https://github.com/greenplum-db/gpdb/releases/download/6.0.0/greenplum-db-6.0.0-rhel7-x86_64.rpmyum localinstall -y greenplum-db-6.0.0-rhel7-x86_64.rpm参考官网文档一步步操作，操作时有报错的话根据报错信息提示解决下即可https://docs.greenplum.org/6-0/install_guide/install_
2021-12-15 11:23:49
576
原创 【SQLServer】SQLServer2017安装部署过程
关闭防火墙、selinux、挂载磁盘等这里省略…部署及配置可参考官网配置文档：https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-configure-mssql-conf?view=sql-server-2017#change-the-default-error-log-file-directory-location可参考官网部署文档：https://docs.microsoft.com/en-us/sql/linux/quicks
2021-12-06 17:20:09
882
原创 【TIDB】部署问题
参考https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup先提前下载好社区办免费的包了tiup cluster check ./topology.yaml --user root [-p] [-i /home/root/.ssh/gcp_rsa]tiup cluster check ./topology.yaml --apply --user root [-p] [-i /home/root/.ssh/gcp_r
2021-12-06 15:31:59
868
原创 【HBASE】数据迁移
其他文章也很多就不做些解释了1、进行快照PS：这里听说可以快照出来之后然后使用clone_snapshot弄成一张新表，然后做majon_conpact后再弄到别的集群去。个人觉得如果数据太多在生产机器做这个操作也会影响IO性能等，各有各的说法吧。我这里就直接快照导出了。2、快照导出hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_table_snapshot_toload -copy-from hdfs://
2021-12-03 18:14:13
367
原创 【PRESTO】问题汇总（持续更新）
1、presto comment中文乱码查了下，presto comment貌似不支持中文的，只要不是ascii范围，都只返回unicode 编码。show create table comment是不行的。社区对这个也有讨论。参考：https://github.com/trinodb/trino/issues/5061...
2021-08-10 14:39:21
1048
原创 k8s安装kubesphere遇到的问题
发现报错：[root@emr-header-1 nfs]# kubectl logs nfs-client-provisioner-6645cb5596-z4nlmI0809 02:24:57.206834 1 leaderelection.go:185] attempting to acquire leader lease default/qgg-nfs-storage...E0809 02:25:14.631454 1 event.go:259] Could not c.
2021-08-09 10:51:50
4869
1
原创 prometheus
背景用于容器的监控和容器的宿主机的监控prometheus安装我们可以到官网下载指定版本：https://prometheus.io/download/wget https://github.com/prometheus/prometheus/releases/download/v2.24.0/prometheus-2.24.0.linux-amd64.tar.gztar xf prometheus-2.24.0.linux-amd64.tar.gzcp prometheus-2.24.0.li
2021-08-01 11:13:25
383
原创 ELK文档
背景ELK日志系统总体架构如上。以下为实现步骤。环境准备及说明这几个包的自己到ES官网下载即可，软件的版本都建议一致，不一致可能会有问题。是二进制安装还是下载tar包自己解压也按照自己怎么方便怎么来。注：es用root启动会有问题，所以我自己创建了个elk的用户。然后对应这些服务几乎都是用elk启动的，或者把这些服务的目录权限给到elk用户（改属主属组或者直接权限777）。以下是我自己部署的时候直接改成777了。因为我这个也只是测试用，所以部署的有点混乱，如果是生产的话建议使用同一种部署方式
2021-07-31 13:03:21
373
原创 【SPARK】问题汇总（持续更新）
1、num-executors，execuor-cores和executor-memory的分配driver.memory ：driver运行内存，默认值512m，一般2-6Gnum-executors ：集群中启动的executor总数executor.memory ：每个executor分配的内存数，默认值512m，一般4-8Gexecutor.cores ：每个executor分配的核心数目yarn.am.memory ：AppMaster内存，默认值512myarn.am.memoryO
2021-07-30 16:00:20
667
原创 oozie使用命令
1.提交作业，作业进入PREP状态oozie job -oozie http://localhost:11000/oozie -config job.properties -submitjob: 14-20090525161321-oozie-joe2.执行已提交的作业oozie job -oozie http://localhost:11000/oozie -start 14-20090525161321-oozie-joe3.直接运行作业oozie job -oozie http://loc
2021-07-30 15:10:57
116
原创 Presto性能调优
1.1 概述1.1.1 Presto架构Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto的架构分为：Coodinator：解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Discovery Server：Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。Worker：负责执行实际查询任务，访问底层存储
2021-07-30 15:04:05
1432
原创 TEZ参数调优问题
背景：记录下TEZ相关参数一、AM、Container大小设置1、tez.am.resource.memory.mb #设置 tez AM容器内存默认值：1024 配置文件：tez-site.xml建议：不小于或者等于yarn.scheduler.minimum-allocation-mb值。2、hive.tez.container.size #设置 tez container内存默认值：-1默认情况下，Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。配置文件：hive-
2021-07-30 09:50:16
3572
原创 【GANGLIA】问题汇总（持续更新）
1、ganglia页面打开报错forbidden修改修改/etc/httpd/conf.d/ganglia.conf（配置目录可能有差异）单独重启下httpd
2021-07-29 17:20:42
109
原创 【SQOOP】问题汇总（持续更新）
1、sqoop使用过程中出现异常sqoop1的最新版本为1.4.7，默认带的jar包，可能和其他框架不兼容，比如连接mysql8，比如连接hive3（默认是hive2）不兼容的具体表现可能为各种形式的报错，甚至包括同步数据成功，但是数据格式异常，日期转换有问题。这个就要根据自己的需要去调整jar包解决了。...
2021-07-29 16:45:50
1052
原创 【HBASE】问题汇总（持续更新）
1、HBASE启动异常根据报错日志，查看zk日志发现zookeeper连接太多了，调大zk客户端请求连接数（maxClinetCnxns），重启服务解决。
2021-07-29 16:44:31
100
原创 【FLUME】问题汇总（持续更新）
1、flume写入hdfs报错后自动恢复如果并发量 x 128M（blocksize）x 2 > 磁盘剩余空间，会导致flume写入失败。从DataNode的日志里看到从06：50 - 07：10这20分钟内写入了超过一万个block，一个block需要的空间是128M，所以会申请超过1TB的存储空间。从发的dfs report来看 emr-worker-1节点只有 368GB剩余空间，所以会导致空间不足（结果是 There are 4 datanode(s) running and no no
2021-07-29 16:42:59
528
原创 【IMPALA】问题汇总（持续更新）
1、impala报错file not found打满磁盘报错如下W0721 18:39:12.039170 29442 FileSystemUtil.java:758] ErrorCode : 25002 , ErrorMsg: File not found. File not found: /taste_matters/TAB/order_data/dwd/tab_dwd_order_taste_main_order_di/ds=20210507 in bucket kaifeiyaoW0721 18
2021-07-29 16:41:33
825
原创 【YARN】问题汇总（持续更新）
1、TEZ一直卡主原因是：集群的 mapreduce.map.cpu.vcores 改成了 4，hive 默认会使用这个参数作为 tez container 的 vcores。tez vcores 大于 1 时会导致无法正常启动 container，可以设置参数 hive.tez.cpu.vcores=1 来解决。......
2021-07-29 16:26:43
2482
原创 【HIVE】问题汇总（持续更新）
1、hive sql报错Error: Error while compiling statement: FAILED: SemanticException UDF reflect is not allowed。set hive.server2.builtin.udf.blacklist=empty_blacklist; set hive.server2.builtin.udf.blacklist; select t1.device_id, t1.appsflyer_id, t1.dt as server_
2021-07-29 16:25:06
3538
原创 【HUE】问题汇总（持续更新）
1、hue页面打开报错app_blacklist: search,security,zookeeper,metastore,hbase,sqoop,jobbrowser,filebrowser这里把jobbrowser,filebrowser都给去掉吧。然后重启hue发现还是报错。不行还是查看了下hue的日志吧查看日志发现这个报错就一目了然了。hadoop.http.authentication.simple.anonymous.allowedhdfs里面把这个参数改成true。然后重启下
2021-07-29 15:01:27
1498
原创 YARN队列用户提交作业权限配置
一、背景yarn层面做queue资源隔离，是为了划分不同资源给不同开发人员，甚至不同团队的人。1、用户默认队列配置某个用户或者某个小组的成员，默认情况下，提交到指定的队列中（而不是提交到root.default中）2、队列权限配置某个用户或者某个小组的成员，只能把任务提交到指定的队列中（队列权限）3、hadoop group mapping我们后续的配置中，会有用户组的权限配置，所以这里要特地说明下组映射的事情hadoop默认是拿namenode所在机器的linux用户的用户组信息，也就是说
2021-07-27 14:03:00
4453
1
原创 大数据遇到的问题总结（旧）
1、用户用本地代码操作phoenix，连接zk默认使用的内网。这样导致网络不通，现在需求就是想把zk地址换成公网分析：zookeeper本来监听在了0.0.0.0。外网也能访问zk。这个是要HBase的regionserver注册到zk，要使用公网ip，是16020这个端口所在的进程也就是regionserver，他往zk注册的时候要用公网ip注册，或者注册host，然后本地绑公网ip。在hbase-site修改hbase.server.hostname.useip成false，然后重启一下HBase，然
2021-03-06 09:26:30
6077
原创 ApacheDS无法启动，导致Knox无法登陆，用户名和密码都是正确的。
1、jvm环境有小幅度升级过以为是环境问题[root@emr-header-1 ~]# java -versionopenjdk version "1.8.0_151"OpenJDK Runtime Environment (build 1.8.0_151-b12)OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)...[root@emr-header-1 ~]# java -versionopenjdk version "1.8.0
2021-03-02 11:22:48
691
原创 EMR Flink SQL Client 集成 Hive 使用文档
1、以测试集群版本为例（EMR-4.4.1）2、执行命令如下cp /opt/apps/ecm/service/flink/1.10-vvr-1.0.2-hadoop3.1/package/flink-1.10-vvr-1.0.2-hadoop3.1/conf/sql-client-defaults.yaml /etc/ecm/flink-conf/并做如下修改3、将配置分发到各个节点（如果需要在别的集群也使用的话执行以下步骤，以及所有拷贝jar的步骤在所有机器执行）scp /etc/ecm/
2021-02-25 14:28:02
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人