大数据技术与应用
文章平均质量分 66
大数据
itLaity
不断努力,不断提升!
展开
-
Docker安装Zookeeper教程(超详细)
单体安装与集群安装(超详细)原创 2022-12-25 19:54:07 · 26695 阅读 · 13 评论 -
执行安装 Tiller 发生报错
Error: error initializing: Looks like "https://kubernetes-charts.storage.googleapis.com" is not a valid chart repository or cannot be reached: Failed to fetch https://kubernetes-charts.storage.googleapis.com/index.yaml : 403 Forbidden原创 2022-12-10 01:00:00 · 918 阅读 · 10 评论 -
Could not find valid interface matching eth0: error looking up interface eth0: route ip+net: no such
Could not find valid interface matching eth0: error looking up interface eth0: route ip+net: no such network interface原创 2022-12-08 01:53:23 · 1076 阅读 · 0 评论 -
/bin/bash^M: bad interpreter: No such file or directory
/bin/bash^M: bad interpreter: No such file or directory原创 2022-12-08 01:41:48 · 438 阅读 · 0 评论 -
Kubernetes集群安装&卸载
Kubernetes 简称 k8s。是用于自动部署,扩展和管理容器化应用程序的开源系统原创 2022-12-08 01:32:04 · 2581 阅读 · 0 评论 -
value source config is invalid; must have either a field context or a script or marked as unwrapped
ElasticSearch异常:value source config is invalid; must have either a field context or a script or marked as unwrapped。根本原因就是DSL语句写的有问题。原创 2022-10-19 23:47:07 · 718 阅读 · 0 评论 -
Centos7下Docker部署Nginx
mv nginx conf 把这个 conf 移动到/mydata/nginx 下。系统的内核版本在 3.10以上 ,查看本页面的前提条件来验证你的。给 nginx 的 html 下面放的所有资源可以直接访问;版本是否支持 Docker。// 别忘了后面的点。原创 2022-10-14 23:58:31 · 1193 阅读 · 0 评论 -
Found interface org.elasticsearch.common.bytes.BytesReference, but class was expected
上图可以发现 elasticsearch-rest-high-level-client 是7.4.2 但 elasticsearch与elasticsearch-rest-client的版本却是7.6.2。作者这里采用的是 去除掉elasticsearch-rest-high-level-client中对应的jar,再重新引入,并成功解决该异常。由于elasticsearch的版本不对导致的,在SpringBoot项目中导入的Maven明明是对应的版本,但是插入数据就报错。个人经验仅供参考哦~原创 2022-10-14 23:44:15 · 474 阅读 · 0 评论 -
Spark安装部署Local
生命无罪,健康万岁,我是laity。以下操作都是基于你已经把hadoop集群搭建好了的情况下Spark的运行模式上面的部署安装属于(本地模式)Local部署Spark的架构角色个人认为很重要 - 方便理解Spark和YARNPython环境部署我们用的python环境是Anaconda3# 1.将`Anaconda3-2021.05-Linux-x86_64.sh`文件到Linux服务器上# 2.安装到 /opt/laityInstall 下 sh ./Anaconda原创 2022-05-16 10:47:54 · 340 阅读 · 0 评论 -
Hadoop入门教程
Hadoop入门教程生命无罪,健康万岁,我是laity分布式和集群的概念分布式:多台机器,每台机器上部署不同组件。集群:多台机器,每台机器上部署相同组件。Hadoop核心组件HDFS :分布式文件存储系统,用于解决海量数据存储YARN :集群资源管理和任务调度框架,用于解决资源任务调度MapReduce :分布式计算框架,用于解决海量数据计算。HDFS 的shell博客基础命令hadoop fs -ls file:/// # 操作本地文件系统hadoop fs -ls h原创 2022-05-16 10:35:02 · 3101 阅读 · 0 评论 -
HDFS的shell命令简介
一、HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls、mkdir、rm 等。我们在执行HDFS的shell操作的时候,一定要确定hadoop 是正常运行的,我们可以使用使用jps 命令确保看到各个hadoop 进程。我们可以执行命令hadoop fs,来查看HDFS原创 2022-05-13 12:20:04 · 6115 阅读 · 1 评论 -
Ubuntu22.4开发环境配置
写这篇文章的两个目的:主要目的:方便我以后搭建环境其次目的:方便大家搭建环境🕵️♀️原创 2022-05-01 06:03:20 · 1203 阅读 · 0 评论