- 博客(26)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 zepplin 配置zepplin找不到主机bdcluster或者java.lang.NoClassDefFoundError
HBase HA集群是基于Hadoop HA集群的，在搭建HBase HA集群之前需要先有1个运行正常的Hadoop HA集群环境。在做完相关HBase配置后，启动HBase时，只有主HBase启动正常，备用HBase及Region全部没有启动，排查发现是启动时报错了：java.net.UnknownHostException: HadoopCluster这是因为，HBase没有识别HadoopCluster这个集群，解决这个问题的方法是把Hadoop的2个配置文件（core-...
2020-07-10 16:50:51
329
转载 namenode由于jn写入超时异常
解决办法：1. 在hdfs-site.xml添加如下配置：<property><!-- EditLog会被切割为很多段，每一段称为一个segment，Namenode发起新写入editlog的RPC调用，会使用startLogSegment方法，该参数表示发起新segment的超时时间 --> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>90000<...
2020-07-01 14:43:42
390
原创 hadoop namenode无法connect 8485端口的情况
journalnode（端口8485）是在namenode后启动的。默认情况下namenode启动10s(maxRetries=10, sleepTime=1000)后journalnode还没有启动，就会报上述错误。该配置使namenode连接journalnode最大时间增加至1000s(maxRetries=100, sleepTime=10000),假如集群节点数...
2020-04-20 16:27:43
2467
原创 pip 安装指定 国内源镜像
指定国内源镜像。pip install -i 国内镜像地址 包名例如：pip install -ihttps://mirrors.aliyun.com/pypi/simple/numpy国内常用源镜像地址：清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/s...
2020-03-26 14:56:59
2540
原创 centos7 下安装superset详解
1.关闭防火墙systemctl stop firewalld &&systemctl disable firewalld2.修改主机名vim /etc/hostsvim /etc/hostname 修改后需要重启3. 安装 anaconda 3 （到官网下载安装）安装Anaconda3-5.2.0-Linux-x86_64shAnaconda3-...
2020-03-26 14:52:16
2351
2
原创 NTP 常用操作汇总
查看配置文件vi /etc/sysconfig/ntpdvi /etc/ntp.conf重启systemctl restart ntpd.service查看状态 ntpstat -p关闭服务systemctl stop ntpd.service启动服务& 开机启动 systemctl start ntpd.ser...
2020-03-18 15:43:13
270
原创 ansible 自动安装kafka(三)
- hosts: kafka remote_user: root vars: JAVE_HOME: ZOOKEEPER_HOME: /opt tasks: - name: delete old jdk shell: sed -i "/^export JAVA_HOME/d" /etc/profile - name: delete old zo...
2020-03-05 09:29:11
201
原创 ansible 自动化安装hbase（四）
- hosts: hbase remote_user: root tasks: - name: delete old jdk shell: sed -i "/^export JAVA_HOME/d" /etc/profile - name: delete old zookeeper shell: sed -i "/^export ZOOKEEPER_HOM...
2020-03-05 09:28:18
205
原创 ansible 自动安装hbase(二) hbase.yml
- hosts: hbase remote_user: root vars: AnsibleDir: /opt/ansible BigdataDir: /opt tasks: - name: delete exists zookeeper file: path=/opt/zookeeper-3.4.14 state=absent - nam...
2020-03-05 09:27:02
630
原创 ansible 自动安装kafka(二) kafka.yml
- hosts: kafka remote_user: root vars: AnsibleDir: /opt/ansible BigdataDir: /opt tasks: - name: delete exists zookeeper file: path=/opt/zookeeper-3.4.14 state=absent - name...
2020-03-05 09:25:57
344
原创 ansible 自动安装kafka (一) -sys_kafka.yml
- hosts: kafka remote_user: root tasks: - name: enable sshd shell: sed -i "s/^.*StrictHostKeyChecking.*$/StrictHostKeyChecking no/g" /etc/ssh/ssh_config - name: open PubkeyAuthentication...
2020-03-05 09:25:05
205
原创 ansible 自动安装hbase (一) sys_hbase.yml
- hosts: hbase-ssh remote_user: root tasks: - name: enable sshd shell: sed -i "s/^.*StrictHostKeyChecking.*$/StrictHostKeyChecking no/g" /etc/ssh/ssh_config - name: open PubkeyAuthenticat...
2020-03-05 09:20:32
311
原创 ansible 自动安装hbase （一键启动关闭脚本） -start_stop.yml
- hosts: start_stop remote_user: root vars: AnsibleDir: /opt/ansible tasks: - name: delete exists start file: path=/opt/start state=absent - name: delete exists stopp file...
2020-03-05 09:19:35
524
原创 ssh 免密自动化 sshConfig.sh.j2
- hosts: hbase gather_facts: no tasks: - name: enforce env shell: source /etc/profile run_once: true - name: delete /root/.ssh/ file: path=/root/.ssh/ state=absent ...
2020-03-05 09:18:42
333
原创 ansible自动化安装-jdk.yml
- hosts: hbase remote_user: root vars: AnsibleDir: /opt/ansible tasks: - name: delete exists jdk file: path=/opt/jdk1.8.0_201 state=absent - name: copy and unzip jdk unarc...
2020-03-05 09:17:18
668
原创 Docker使用指南
Docker 概念简单来说，Docker镜像是一个配置好了所需环境的操作系统，我们在自己的电脑上运行一个docker容器，相当于开启了一个新的操作系统Docker 组件Docker的三大核心概念：镜像、容器、仓库镜像Docker运行容器前需要本地存在对应的镜像。镜像可以用来创建Docker容器的。一个镜像可以包含一个完整的操作系统环境和用户需要的其它应用程序。在docker hu...
2020-03-05 09:11:57
189
原创 hadoop 集群常见问题汇总 FSEditLog: Error: starting log segment 7913 failed for required journal
一台namenode挂掉，另外一台高可用没起起来，journal报错，解决办法：1，其实在实际的生产环境中，也很容易发生类似的这种超时情况，所以我们需要把默认的20s超时改成更大的值，比如60s。我们可以在hadoop/etc/hadoop下的hdfs-site.xml中，加入一组配置:<property> <name>dfs.qjo...
2020-02-28 10:01:03
838
原创 hbase学习笔记：快照SNAPSHOTS
列出所有快照hbase shell列出快照 >>list_snapshots创建快照snapshot 'DR_RT_OPC_KAFKAAI','DR_RT_OPC_KAFKAAI_SHAPSHOT20200227'3.删除快照使用deleted_snapshot命令。删除快照不会影响到克隆表或者之后生成的快照。hbase>delete_snap...
2020-02-27 17:44:55
279
原创 NodeManager 日志报错 YarnRuntiomeException:java.net.BindException problem binding to 0.0.0.0
线上报错如图看了半天没发现什么问题啊，最后使用jps发现nodemanager，的进程号偏小，怀疑进程卡死使用一键关闭脚本没有关掉，果然kill掉重启后好了...
2020-02-27 13:10:47
694
原创 hbase -env.sh 优化
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms512m -Xmx512m"export HBASE_REGIONSERVER_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:+ParallelRefProcEnabled -XX:ConcGCThreads=4 -X...
2020-02-26 16:36:39
766
原创 hbase-site.xml经优化版
<configuration><property><name>hbase.rootdir</name><value>hdfs://bdcluster:8020/hbase</value></property><!-- 超时时间 --><property><name&...
2020-02-26 16:31:02
112
原创 ntp服务器配置详解
参考https://blog.csdn.net/xiaomage510/article/details/77891901https://blog.csdn.net/sunny05296/article/details/65980897设置 zcby-data03.com 为master，作为ntp服务器没有安装执行yum install ntp 安装，所有需要...
2019-04-22 17:03:42
979
转载 Linux定时任务Crontab命令详解
linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与window...
2019-04-22 16:39:45
168
原创 mongodb内存占用情况监控
MongoDB使用的是内存映射存储引擎，它会把磁盘IO操作转换成内存操作，如果是读操作，内存中的数据起到缓存的作用，如果是写操作，内存还可以把随机的写操作转换成顺序的写操作，总之可以大幅度提升性能。MongoDB并不干涉内存管理工作，而是把这些工作留给操作系统的虚拟缓存管理器去处理，这样的好处是简化了MongoDB的工作，但坏处是你没有方法很方便的控制MongoDB占多大内存，事实上MongoDB...
2019-04-22 14:05:51
1532
原创 Linux环境下XFTP配置
1.环境基础主机win10加vmware虚拟机+CentOS6.5操作系统 为了学习hadoop搭建虚拟机的环境，虚拟机成功创建后需要用xftp将下载的hadoop安装包拷贝到虚拟机上无奈总是报连接失败下面详细说下解决办法1.首先在windows下用ipconfig查看本机和虚拟机的ip,如图可以看到除了本机的无限IP地址还有两个 VMnet1和VMnet8,在虚拟机里点击...
2018-12-20 10:15:37
2962
flink消费kafka到greenplum
2020-05-06
kafka_demo.rar
2020-03-19
Docker使用指南.docx
2020-03-19
ETL-实施步骤
2015-11-25
ETL基础知识
2015-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人