![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 55
痴汉堡
这个作者很懒,什么都没留下…
展开
-
clickhouse 增加表属性
clickhouse 增加表属性ALTER TABLE [db].[table] ADD COLUMN [属性] [属性类型]加上 on CLUSTER [集群名称] 分布式表和本地表都执行一下原创 2022-04-26 16:27:38 · 1174 阅读 · 0 评论 -
Kafka如何消息不重复不丢失
类型消息是否会重复消息是否会丢失优势劣势使用场景最多一次否是生产端发送消息后不用等待和处理服务端响应,消息发送速度会很快网络或服务端有问题会造成消息的丢失消息系统吞吐量大且对消息的丢失不敏感。例如,日志收集、用户行为收集等场景最少一次是否生产端发送消息后需要等待和处理服务端响应,如果失败会重试吞吐量较低,有重复发送的消息消息系统吞吐量一般,但是绝不能丢消息,对于重复消息不敏感有且仅有一次否否消息不重复,消息不丢失,消息可靠性很好吞吐量较低...原创 2021-09-23 15:03:55 · 331 阅读 · 0 评论 -
Zookeeper的java客户端Curator
Zookeeper的java客户端Curator常见的zookeeper java API:Curator API 常用操作建立连接添加节点删除节点修改节点查询节点watch事件监听分布式锁实现常见的zookeeper java API:原生的java apiZkClientCurator高版本的Curator,兼容低版本的zookeeperCurator API 常用操作建立连接 @Before public void TestConnect() throws Exc原创 2021-06-22 18:46:44 · 117 阅读 · 0 评论 -
azkaban使用root 连接数据库报错
报错:ERROR [MySQLDataSource] [Azkaban] Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 7原创 2021-05-16 10:44:33 · 766 阅读 · 2 评论 -
Impala交互式查询工具
Impala交互式查询工具概述是什么Impala与Hive对比优势缺点适用场景安装安装Hadoop、Hive准备Impala所有依赖包安装Impala集群规划yum下载配置Impala配置hive-site.xml并分发创建短路读取本地中转站配置hdfs.xml并分发启动Hadpop集群引入HDFS、Hive配置impala自身配置修改bigtop的java_home路径消除影响启动Impalalinux123其他节点架构原理组件impaladstatestoredcatalogd查询流程优化负载均衡基本优原创 2021-05-12 12:07:43 · 431 阅读 · 0 评论 -
配置hadoop历史服务器的日志
在Yarn中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置历史日志服务器。配置历史服务器日志1 配置mapred-site.xmlvi mapred-site.xml<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value></property>原创 2021-02-09 21:05:20 · 262 阅读 · 0 评论 -
ssh免密登录
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.235.22原创 2021-02-07 20:52:57 · 266 阅读 · 2 评论 -
Hadoop完全分布式集群搭建
@Hadoop完全分布式集群搭建Hadoop集群配置=HDFS集群配置+MapReduce集群配置+Yarn集群配置Hadoop集群配置=HDFS集群配置+MapReduce集群配置+Yarn集群配置1.HDFS集群配置(1)将JDK路径明确配置给HDFS(修改hadoop-env.sh)(2)指定NameNode节点以及数据存储目录(修改core-site.xml)(3)指定SecondaryNamenode节点(修改hdfs-site.xml)(4)指定DataNode从节点(修改/etc原创 2021-02-06 13:15:09 · 197 阅读 · 1 评论 -
虚拟机克隆与环境准备
一、 环境准备上传hadoop与jdk文件到相应文件夹1.在 /opt目录下创建文件夹mkdir -p /opt/crh/softwaremkdir -p /opt/crh/servers2.登录linux121节点;进入/opt/crh/software,解压安装文件到/opt/crh/serverstar -zxvf hadoop-2.9.2.tar.gz -C /opt/crh/serverstar -zxvf jdk-8u231-linux-x64.tar.gz /opt/crh/s原创 2021-02-05 21:59:31 · 148 阅读 · 0 评论 -
Centos7虚拟机NAT网络的配置(windows)
一 、设置虚拟机的网关1.cmd中查看ip我这里用的是vmnet8 需要一致2. VMware->编辑->虚拟网络编辑器3. 子网ip可不一样,但是要记住,点击1.NAT设置,记住下面的图。4. 点击2.DHCP设置,红框内代表等下能设置的ip的范围二、 虚拟机->设置->网络适配器->NAT模式三、 进入虚拟机修改ip1. 复制语句 到虚拟机打开文件vi /etc/sysconfig/network-scripts/ifcfg-ens33原创 2021-02-04 23:09:00 · 237 阅读 · 0 评论