- 博客(11)
- 收藏
- 关注
RSS订阅原创 java.lang.ClassNotFoundException: ru.yandex.clickhouse.ClickHouseDriver
java.lang.ClassNotFoundException: ru.yandex.clickhouse.ClickHouseDriver at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:34
2021-06-08 00:14:35
9737
原创 Kafka的数据时如何保证数据不重复，不丢失？
生产者ACK + 重试机制生产者生产数据写入kafka，等待kafka返回ack确认，收到ack，生产者发送下一条选项0：不等待ack，直接发送下一条优点：快缺点：数据易丢失1：生产者将数据写入Kafka，Kafka等待这个分区Leader副本，返回ack，发送下一条优点：性能和安全做了中和的选项缺点：依旧存在一定概率的数据丢失的情况all：生产者将数据写入Kafka，Kafka等待这个分区所有副本同步成功，返回ack，发送下一条优点：安全缺点：性能比
2021-04-05 18:47:49
2190
1
原创 在idea集成hdfs,mysql,hive
idea集成hdfs把hdfs插件先下载到本地百度网盘地址直接点击即可 提取码8888到这里hdfs就已经配置完成了用法idea集成mysql下载mysql的jar包到本地百度网盘地址直接点击即可 提取码8888mysql到这里就配置完成了用法idea集成hive下载hadoop和hive的jar包到本地百度网盘地址直接点击即可 提取码8888百度网盘地址直接点击即可 提取码8888两个下载完并解压把里面这个路径下的有关had
2020-12-22 20:53:22
732
1
原创 超详细的ZooKeeper集群搭建
下载安装包、解压(注意 -C 的指定路径自己修改，后面的都以这个为准)tar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C ../servers/配置环境变量（注意：3台zookeeper都需要修改）vi /etc/profile.d/zookeeper.shexport ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0export PATH=$PATH:$ZOOKEEPER_HOME.
2020-10-20 20:05:50
6686
1
原创 Hadoop集群启动后添加和删除节点
标题集群添加节点添加新的虚拟主机a) 修改主机名 vi /etc/sysconfig/networkb) 永久关闭防火墙 /etc/init.d/iptables stop chkconfig iptables offc) 关闭selinux vi /etc/selinux/config SELINUX=disabledd) 主节点到新节点的ssh无密码登录 ssh-copy-id node04e) 修改所有节点的 /etc/
2020-10-14 21:06:10
1065
1
原创 使用secondaryNamenode还原namenode
如果只想解决问题可跳过1-3，直接看4-51、 记录NN存储FSimage和Edits_Log的路径cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current/cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/current2、 记录SNN存储FSimage和Edits_Log的路径cd /export/ser
2020-10-14 20:40:56
621
原创 HDFS适用场景和不适用场景
HDFS适用场景海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多个小的数据块。所以再大的数据，切分后，大数
2020-10-12 18:11:37
8595
原创 机架感知配置
配置机架感知编写Python脚本“RackAware.py” 并拷贝到其他节点的对应路径下#!/usr/bin/python#-*-coding:UTF-8 -*-import sysrack = { "192.168.10.140":"DB19_SW001", "192.168.10.141":"DB19_SW002", "192.168.10.142":"DB19_SW003", }if __n
2020-10-08 18:15:56
2217
2
原创 重复格式化集群该怎么办
注意：如果只想解决这个问题可以跳过1,2直接看3和4的解决步骤一键启动集群查看datanode的日志在哪里sh start-all.sh进入日志查看用shift+g进入末行模式，在往上翻，看到第一个INFO,下面有WARN(警告)，这个里有提示信息，大约是讲datenode的clusterID和namenode的clusterID不一致。进入cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/curren
2020-10-07 20:38:22
4743
4
原创 本地资源库和网络yum源的安装部署
本地资源库安装部署先把sr0 挂载到 /mnt/cdromcdrom(自己在mnt下创建的目录)进入系统目录 cd /etc/yum.repos.d中，创建文件夹old。将目录中的所有.repo文件移动到old中。【此不只是备份，怕把xx.repo文件搞坏，如不需要可直接进行第5步】mkdir oldmv * old拷贝CentOS-Media.repo 文件到/etc/yum.repos.d中，修改该文件，vi CentOS-Media.repo【内容较多，可直接看
2020-10-05 20:54:15
3205
1
原创 复制虚拟机的网卡配置的3种方式
第一种方式：配置文件向识别的网卡兼容1、 通过一个主机复制出多个主机2、 开启复制的主机，启动时选择“复制”3、 启动后查看IP ifconfig查看系统识别的网卡Ifconfig -a这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。配置文件名称解决方案：修改配置文件名为系统识别的名称（将eth0改为eth1）修改eth1内的配置保存退出，重启网卡（报错）错误原因：VM软件为新系统分配了新的mac地址，配置文件中还是原始的。两个不匹配查
2020-10-04 20:45:52
6028
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人