- 博客(29)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 cesi 部署配置
安装wget https://github.com/gamegos/cesi/releases/download/v2.6.7/cesi-extended.tar.gz -O cesi.tar.gztar -zxvf cesi.tar.gz# 创建venv虚拟环境（也可以使用已有的虚拟环境）python3 -m venv venv# 激活venv虚拟环境source venv/bin/activate# 在venv虚拟环境中，使用pip3管道安装依赖pip3 install -r r
2021-06-23 19:52:00
442
原创 spark2 任务报错
spark2 任务报错1：ERROR Datastore.Schema: Failed initialising database.[2020-12-10 09:45:27,624] {bash_operator.py:126} INFO - Unable to open a test connection to the given database. JDBC url = jdbc:derby:;databaseName=metastore_db;create=true, username = A
2020-12-10 13:10:12
525
原创 insert overwrite 长时间卡后报错
报错：执行insert overwrite，长时间卡住，为将任务提交到yarn上，等待很长时间后，会报如下信息：Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time): Error while processing statement: FAILED: Error in acquiring locks:Locks on the underlying obj
2020-11-05 10:16:46
1428
原创 切换用户出现：-bash-4.2$
切换用户时出现-bash-4.2$[root@cdh-master ~]# su - mysqlLast login: Sat Jul 4 19:43:37 EDT 2020 on pts/0-bash-4.2$pwd 查看切换用户后所在的目录-bash-4.2$ pwd/usr/local/mysql使用root用户将/etc/skel/.bash_profile，/etc/skel/.bashrc 复制到pwd的目录cp/etc/skel/.bashrc /u..
2020-07-04 22:58:27
1165
原创 CDH5.16 安装 spark2.4
一，下载需要的包SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcelSPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1manifest.jsonSPARK2_ON_YARN-2.4.0.cloudera2.jar二，将包放入对应的路径下SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcelSPARK2
2020-06-29 10:30:59
1309
1
原创 postgreSql-9.6.9 安装
1.下载安装包wgethttps://ftp.postgresql.org/pub/source/v9.6.9/postgresql-9.6.9.tar.gz2.配置postgresql环境yum -y install gcc* readline-develadduser postgres3.编译安装tar zxvf postgresql-9.6.9.tar.gzcd...
2019-08-05 17:05:46
2588
原创 Elasticsearch5安装Elasticsearch-head插件
nodejs下载：https://nodejs.org/zh-cn/download/ github下载：https://github.com/mobz/elasticsearch-head1，解压后，配置node环境变量vim /etc/profileexport NODE_HOME=/opt/node-v10.15.3-linux-x64export PATH=$PATH...
2019-04-30 12:05:45
147
原创 hdp中遇到的问题
1，安装hue，hue syncdb是报错处理办法：由于系统python为2.6，升级python至2.7/usr/local/hue/build/env/lib/python2.6/site-packages/cryptography-1.3.1-py2.6-linux-x86_64.egg/cryptography/__init__.py:26: DeprecationWarning...
2019-02-19 12:18:59
1450
转载 postgreSql 常用操作
0. 启动pgsl数据库pg_ctl -D /xx/pgdata start1. 查看pgsl版本pg_ctl --version2. 命令行登录数据 psql -U username -d dbname -h hostip -p port 3. 列出所有数据库\l 4. 切换数据库 \c dbname 5. ...
2019-02-19 11:10:46
633
原创 ambari 下postgresql 命令
1.切换用户[root@master scripts]# su - postgres-bash-4.1 2.登陆postpostgresql控制台-bash-4.1$ psqlpostgres=#3. 进入ambari库postgres=# \c ambariambari=#4.授予ambari用户对ambari库的权限 ambari=# gra...
2019-02-19 11:03:59
1045
原创 zookeeper digest授权方式
将要设置的密码进行base64编码>>echo -n test:test | openssl dgst -binary -sha1 | openssl base64>>V28q/NynI4JI3Rk54h0r8O5kMug=[zk: localhost:2181] create /digest user[zk: localhost:2181] setAcl /...
2019-02-12 18:04:45
7920
原创 elasticsearch_shield插件
使用命令：创建管理员用户bin/shield/esusers useradd es_test -r admin登录管理员用户curl -u es_test -XGET http://192.168.1.85:9200如果出现失败，可能需要在/etc/elasticsearch/elasticsearch.yml中加入下面的内容：shield:authc:realms...
2019-02-01 12:18:38
363
原创 linux系统相关
一,修改内核参数# vi /etc/sysctl.confkernel.shmall = 2097152kernel.shmmax = 1073741824fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_loca...
2019-02-01 10:58:54
118
原创 kibana 安装
对应版本：https://www.elastic.co/support/matrix#show_compatibility下载地址_官网地址：https://www.elastic.co/cn/downloads/kibanatar –zxvf kibana-5.5.2-linux-x86_64.tar.gz编辑kibana.yml配置文件启动：nohup bin/kibana...
2018-12-21 15:38:32
151
转载 es 相关
ES平衡节点的时候不向上面分配分片，或者更进一步直接将原有分片“赶出去可以尝试使用下面的命令curl -XPUT 'localhost:9200/_cluster/settings' -d'{ "transient": { "cluster.routing.allocation.exclude._ip": "192.168.0.1,192.168.0.2" }}'...
2018-12-20 17:06:02
114
原创 es分片迁移
集群节点临时重启当修改配置时可能需要重启集群才生效，或者集群发生严重错误无法恢复时都可能需要重启集群一个集群节点重启前要先临时禁用自动分配，设置cluster.routing.allocation.enable为none，否则节点停止后，当前节点的分片会自动分配到其他节点上，本节点启动后需要等其他节点RECOVERING后才会RELOCATING，也就是分片在其他节点恢复后又转移回来，浪费大量...
2018-12-20 11:26:12
1502
转载 Kafka 集群调优
使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用，但默认配置通常都不匹配你的生产环境，因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的，因此详细地去调研这些参数的含义以及针对不同参数值进行测试是...
2018-12-11 15:48:10
405
翻译 kafka限制数据迁移期间的带宽使用
限制数据迁移期间的带宽使用Kafka允许您对复制流量应用限制，设置用于将副本从一台机器移动到另一台机器的带宽的上限。这在重新平衡群集，引导新代理或添加或删除代理时非常有用，因为它限制了这些数据密集型操作对用户的影响。 有两个接口可用于接合油门。最简单，最安全的是在调用kafka-reassign-partitions.sh时应用节流，但kafka-configs.sh也可用于直接查看和...
2018-12-11 13:07:23
2102
翻译 kafka 自定义分区分配和迁移
自定义分区分配和迁移分区重新分配工具还可用于选择性地将分区的副本移动到特定的代理集。当以这种方式使用时，假设用户知道重新分配计划并且不需要工具生成候选重新分配，有效地跳过 - 生成步骤并直接移动到--execute步骤例如，以下示例将主题foo1的分区0移动到代理5,6，将主题foo2的分区1移动到代理2,3：第一步是在json文件中手工制作自定义重新分配计划： 1 ...
2018-12-11 12:09:56
767
翻译 kafka 添加节点或者删除节点
扩展您的群集将服务器添加到Kafka集群很简单，只需为它们分配一个唯一的代理ID并在新服务器上启动Kafka即可。但是，这些新服务器不会自动分配任何数据分区，因此除非将分区移动到它们，否则在创建新主题之前它们不会执行任何工作。因此，通常在将计算机添加到群集时，您需要将一些现有数据迁移到这些计算机。迁移数据的过程是手动启动的，但完全自动化。发生的事情是，Kafka将添加新服务器作为其正在迁移...
2018-12-11 12:08:22
9330
1
原创 CentOS 配置本地yum源 http方式
上传镜像并挂载安装httpyum install httpd -y启动service httpd startln -s /media/cdrom /var/www/html/Centos6配置CentOS-Media.repoll验证：
2018-12-03 23:29:42
295
原创 hadoop dfsadmin
hadoop dfsadmin -safemode getdfsadmin命令详解 -report：查看文件系统的基本信息和统计信息。-safeadmin enter | leave | get | wait：安全模式命令。安全模式是NameNode的一种状态，在这种状态下，NameNode不接受对名字空间的更改（只读）；不复制或删除块。NameNode在启动时自动进入安全模式，当配置...
2018-11-30 15:30:24
295
原创 umount 时报错 ：device is busy.
[root@cdh opt]# umount /opt/cm-5.13.2/run/cloudera-scm-agent/process/umount: /opt/cm-5.13.2/run/cloudera-scm-agent/process: device is busy. (In some cases useful info about processes that use...
2018-11-30 14:02:40
1545
原创 cdh 的安装
一、准备：1、修改主机名，设置集群host修改主机名，并使之生效； 修改：vim etc/sysconfig/network统一设置集群host(修改集群中每个节点的hosts文件)：vim /etc/hosts 2、利用ntp设置时间同步less /etc/localtime检查时区看最后一行是否是CST-8，如果不是，执行以下命令修改。 cp -f...
2018-11-30 13:31:22
763
1
原创 linux命令记录
1.删除文件中多少行数据 sed -i '1,100d' file2，查看进程启动时间 ps -p PID -o lstart3，缓存清理echo 1 > /proc/sys/vm/drop_caches4,find find是最常用和最强大的查找命令。它能做到实时查找，精确查找，但速度慢。 find的使用格式如下： #find [指定...
2018-11-30 12:58:18
121
原创 linux （-bash-4.1$）
切换用户时报错 -bash-4.1$解决方法：从/etc/skel把丢失的文件 复制回来就可以了cp /etc/skel/.bash* ~
2018-11-29 11:15:12
143
翻译 mysql离线安装
在线安装：yum -y install mysql-server mysql mysql-devel离线安装:wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.35-linux-glibc2.5-x86_64.tar.gzjdbc下载http://dev.mysql.com/downloads/con...
2018-11-29 10:24:10
689
转载 CDH禁用kerberos
CDH禁用kerberos1、zookeeper enableSecurity 设置为false。配置kerberos时候是需要勾选该选项的2、hbase 设置 hbase.security.authentication 为false取消勾选 hbase.security.authorizatio3、hdfs 设置 hadoop.security.authenticat...
2018-11-28 22:37:59
1850
cdh启用sentry后，多个hive的metastore只有一个可用
2020-11-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人