打卤的博客

先安装zookeeper集群。安装简单理解配置需要仔细研究4个节点每2主副本为一组分片直接yum安装先安单机逐个安装yum install yum-utils -yrpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGyum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64yum install clickhouse-server cli

1、导出远程导出命令，默认分割符是tab：(本地就ip=127,0,0.1)echo 'select * from table_name' | curl ip:8123?database=mybi -uroot:password -d @- > table_name.sql2、导入数据，以tab作为分割符： 导入数据库的本机执行：cat table_name.sql | cl...

谈起ClickHouse，应该很多人都会很陌生。一来它是一个新生事物，听过的使用过的人非常少；二来可能没有hadoop生态那么完善和健壮，所以稳定性和功能还有所欠缺。但这些都不影响其迅速获得的良好的口碑和开挂的性能，作为特定领域的数据库，极其看好ClickHouse。1. 什么是ClickHouse？这里引用官网的一段话：ClickHouse is a column-oriented ...

安装既然要安装clickhouse已知道了它的强大了，废话不多说。直接yum安装就是辣么6。curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bashyum list 'clickhouse*'yum install -y clickhouse-ser...

clickhouse_driver python 第三方库下载地址:https://github.com/mymarilyn/clickhouse-driverfrom clickhouse_driver import Clientclient = Client("clickhouse_server_ip", "9000", "db", "tables", "")###直接插入到click...

业务场景，写个自动任务定时把mysql的数据同步clickhouse，利用clickhouse的高速查询来做大数据准备实现原理，查询当前clickhouse的数据id,拉取mysql大于此id的数据，再插入到clickhouseimport pymysqlfrom clickhouse_driver import Clientclick_client = Client("host", "...

HBase启动和停止命令启动HBase集群：bin/start-hbase.sh单独启动一个HMaster进程：bin/hbase-daemon.sh start master单独停止一个HMaster进程：bin/hbase-daemon.sh stop master单独启动一个HRegionServer进程：bin/hbase-daemon.sh start region...

1、语言基础Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。Linux：系统安装（命令行界面和图形界面）、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。Python：基础语法，数据结构，函数，条件判断，循环等基础知识。2、环境准备这里介绍在windows电脑搭建完全分布...

下载地址http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz解压到/data/hadoop/apache-hive/修改配置文件cd /data/hadoop/apache-hive/conf/cp hive-env.sh.templatevim hive-env.sh#添加ha...

删除DataNode的所有资料及将集群中每个datanode节点的core-site.xml <name>hadoop.tmp.dir</name><value>/data/hadoop/hddata/</value>/data/hadoop/hddata/VERSION 删除，然后重新执行hadoop namenode -format...

1、安装 Zookeeper 集群具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/886895942、安装 hadoop 集群具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/88397249这只需要根据以上安装好的集群进行修改配置3、修改ha...

对本节配置目录不了解的，请先看上一篇文章初始化首次启动需要进行初始化，初始化成功不再初始化。初始化的操作在hdfs的主节点-node1直接执行命令hdfs namenode -format启动使用官方自带启动脚本存放目录为 /data/hadoop/hadoop-3.1.2/sbin/启动所有 start-all.sh停止所有 stop-all.sh通过jps查看已启动了那...

对本节配置目录不了解的，请先看我之前文章下载官网自行下载。我这里用的zookeeper-3.4.13.tar.gztar zxvf zookeeper-3.4.13.tar.gzcd zookeeper-3.4.13/conf/cp zoo_sample.cfg zoo.cfgvim zoo.cfg #修改数据存储目录dataDir=/data/hadoop/zkdata#添加...

一、服务器&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;软件环境说明服务器一共准备3台CentOS7 Server192.168.1.70 node1192.168.1.71 node2192.168.1.72 node3以下操作为三台机器同时配置二、保障3个台机器时间保持一致。可参考 时间同步方法：https://blog.csdn.net/liyyzz33/article/details/86476245三、...

1.安装相关依赖sudo yum install cyrus-sasl-devel -ysudo yum install gcc-c++ -ypip3 install saslpip3 install thriftpip3 install thrift-saslpip3 install PyHive2.连接hive查询数据# -*- coding: utf-8 -*-fro...