![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Neon Zhou
主要记录学习经验,若有错误,请不吝赐教。
展开
-
macos m1安装elasticsearch kibana arm64v8
# docker pull arm64v8/elasticsearch:7.14.1# docker pull arm64v8/kibana7.14.1如果出现【报错】: Error response from daemon: manifest for arm64v8/elasticsearch:latest not found: manifest unknown: manifest unknown代表没有加版本号,记住要加版本号。启动esdocker run -d --name elasti原创 2021-09-13 20:34:10 · 1003 阅读 · 0 评论 -
Hive查询显示全为null
文件的分割符与表的分隔符一定要一致。dept.txt中字段用空格分割的,则terminated by ‘ ’。如果按\t就会全部显示null。原创 2021-09-10 17:05:28 · 683 阅读 · 0 评论 -
hbase测试api时出现unknown hosts解决办法
查了很多帖子都说是我没有配hosts, 可我的5台inux明明都配hosts了的呀。折腾了好久还是2021-08-27 17:33:05,023 WARN [org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper] - Unable to create ZooKeeper Connectionjava.net.UnknownHostException: hadoop01我以为是我的虚拟在服务器上,我采用的是NAT模式。于是花了老半天采用桥接,原创 2021-08-27 17:36:23 · 480 阅读 · 0 评论 -
重启服务器后datanode和namenode启动不起来
重启服务器后1.启动zookeeper2.删除 rm -rf /opt/hadoop/journaldata/*3.删除 rm -rf /opt/hadoop/tmp/*java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/dfs/data: namenode clusterID = CID-3659e289-d0ed-4296-8ae7-09cbebe555f6; datanode clusterID = CID-f8原创 2021-08-27 13:35:09 · 288 阅读 · 0 评论 -
hbase启动马上挂掉,端口报错500,Hmaster ABORTED
【报错1】:java.lang.RuntimeException: HMaster Abortedat org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:261)at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:149)at org.apache.hadoop.util.原创 2021-08-26 13:05:39 · 1297 阅读 · 1 评论 -
CentOS搭建集群各组件版本推荐
附录1 组件版本汇总组件名称版本端口CentOSCentOS-788-92JDKJDK1.8.0MySQL8.03306Apache Hadoop2.10.1Zookeeper3.7.02181Hbase2.2.716010/16030Hive2.3.6Kafka2.6.2Spark3.1.28080Flume1.9.0Elasticsearch6.4.39200Flink原创 2021-08-20 16:09:46 · 116 阅读 · 0 评论 -
Zookeeper安装
六、配置zookeeper在opt目录下下载并解压zookeeper# cd /opt# wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz# tar -zxvf zookeeper-3.4.9.tar.gz将解压文件zookeeper-3.4.9改名为zookeeper# mv zookeeper-3.4.9 zookeeper在zookeeper新建tmp和log用来原创 2021-08-20 16:08:33 · 88 阅读 · 0 评论 -
MySQL8安装
9.1 mysql8安装 # cd /opt9.1.1 安装MySQL Server因为CentOS 7默认安装的数据库是Mariadb,所以使用YUM命令是无法安装MySQL的,只会更新Mariadb。因此使用rpm来进行安装。这里,我们使用国内的清华大小的镜像源安装,地址:清华大学开源镜像源添加国内安装源并安装切换目录,如果没有,需新建:下载:# wget http://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community转载 2021-08-20 16:08:02 · 169 阅读 · 0 评论 -
Hbase高可用集群搭建
9.2 HBASE安装9.2.1 下载hbase # cd /opt # wget https://mirrors.cloud.tencent.com/apache/hbase/2.2.7/hbase-2.2.7-bin.tar.gz # tar -zxvf hbase-2.2.7-bin.tar.gz 9.2.2 配置环境变量# vi /etc/profile加入如下配置export HBASE_HOME=/opt/hbase-2.2.7export PATH=$HBASE_HOME原创 2021-08-20 16:06:05 · 264 阅读 · 0 评论 -
Kafka高可用集群搭建
9.3 Kafka安装9.3.1 下载kafka# cd /opt# wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.2/kafka_2.13-2.6.2.tgz# tar -zxvf kafka_2.13-2.6.2.tgz # mv kafka_2.13-2.6.2 kafka9.3.2 启动ZKKafka使用ZooKeeper,所以要先启动一个ZooKeeper服务器。9.3.3 KAFKA基本配置Kafka在c原创 2021-08-20 16:04:39 · 165 阅读 · 0 评论 -
Spark高可用集群搭建
9.4 Spark安装9.4.1 下载spark去官网https://spark.apache.org/downloads.html查找合适的版本,这里选用【spark-3.1.2-bin-hadoop2.7.tgz】进行创建目录、下载、解压、改名四连操作# cd /opt# wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz# tar -zxvf spark-3.1原创 2021-08-20 16:04:04 · 362 阅读 · 0 评论 -
Flume高可用集群搭建
9.5 Flume 安装9.5.1 flume下载# cd /opt# wget https://mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz# tar -zxvf apache-flume-1.9.0-bin.tar.gz # mv apache-flume-1.9.0-bin/ flume删除lib/guava-11.0.2.jar 防止不兼容# cd /opt/flume/lib# r原创 2021-08-20 16:03:11 · 455 阅读 · 0 评论 -
Flink高可用集群搭建
9.7 Flink安装9.7.1 下载与hadoop2.10.1兼容的flink版本为flink 1.10.0# cd /opt# wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.4/flink-1.11.4-bin-scala_2.11.tgz# tar -zxf flink-1.11.4-bin-scala_2.11.tgz # mv flink-1.11.4 flink9.7.2 修改环境变量# vi原创 2021-08-20 16:01:45 · 392 阅读 · 0 评论 -
Elasticsearch高可用集群搭建
9.6 Elasticsearch安装9.6.1 下载elasticsearch# cd /opt# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz# tar -zxf elasticsearch-6.4.3.tar.gz# mv elasticsearch-6.4.3/ elasticsearch9.6.2 修改elasticsearch配置文件# cd /opt/el原创 2021-08-20 16:01:19 · 441 阅读 · 0 评论 -
手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货
一、CentOS安装1.1 用Hyper-V安装CentOS7CentOS镜像:CentOS-7-x86_64-DVD-2009下载地址:http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2原创 2021-08-12 09:56:55 · 1757 阅读 · 0 评论