![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 65
宁然也
这个作者很懒,什么都没留下…
展开
-
HDFS总结
概述HDFS 分布式文件系统。适合一次写入,多次读出(文件创建写入关闭后不修改)优点:高容错(分布式)+大规模数据(文件数量、数据PB级别)+成本低(多副本在廉价机器上)缺点:存储数据延迟+只适合大文件存储+单线程写文件+只追加文件不随机修改HDFS组成NameNode(Master) 管理 HDFS名称空间+配置副本+数据块映射+处理客户端读写请求DataNode(Slave, NameNode下达命令,DataNode执行命令)存储实际数据+执行数据读写Client(客户端)Second原创 2022-09-28 20:47:18 · 1767 阅读 · 0 评论 -
VWare安装CentOs
VMware安装CentOS原创 2022-07-18 18:20:21 · 508 阅读 · 0 评论 -
HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.S
项目场景:提示:这里简述项目相关背景:例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)问题描述FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient原因分析:该错误表明无法初始化元数据存储客户端的会话对象,即无法访问H原创 2022-04-17 09:29:58 · 15921 阅读 · 6 评论 -
mysql.sock丢失后的处理
mysql的 mysql.sock丢失后的处理出现这个问题,最好的办法就是重启MySQL服务,重新生成mysql.sock文件参考博客原创 2022-04-17 08:49:04 · 1834 阅读 · 0 评论 -
Hadoop总结(更新)
面试题:hadoop组成网络配置:vim /etc/sysconfig/network-scripts/ifcfg-ens33如何理解:## Allow root to run any commands anywhereroot ALL=(ALL) ALL## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALLatguigu ALL=(ALL) NOPASSWD:ALL...原创 2022-04-16 10:01:35 · 1744 阅读 · 0 评论 -
大数据之scala(三)运算符&&流程控制
系列文章目录提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录运算符3.1 算术运算符3.2关系运算符(比较运算符)3.3 逻辑运算符3.4 赋值运算符3.5 位运算符3.6 Scala 运算符本质第 4 章 流程控制4.1 if - else4.2Switch 分支结构4.3For 循环控制4.3.1 范围数据循环(To)4.3.2 范围数据循环(Until)4.3.3 循环守卫4.3.4 循环步长4.3.5 嵌套循环4.3.6 引入变量4.3.7 循环返回值4.3原创 2022-04-14 11:58:59 · 1409 阅读 · 0 评论 -
大数据之scala(二)变量和数据类型
系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加大数据之scala学习(一) 案例操作提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、变量和常量2.1注释2.2常量和变量2.3标识符命名规范2.4字符串输出2.5键盘输入2.6数据类型2.7整数类型(Byte Short Int Long )2.7浮点类型(Float Double)2.8字符类型(Char)2.9 布尔类型:Boolean2.10 Unit 类型、Null原创 2022-04-14 09:48:21 · 483 阅读 · 0 评论 -
大数据之scala学习(一) 案例操作
指定工作目录GroupId(俗称:包结构) ArtifactId (俗称:项目名)Helloword 案例默认下,Maven 不支持 Scala 的开发,需要引入 Scala 框架。在 scala0513 项目上,点击右键-> Add Framework Support... ->选择 Scala->...原创 2022-04-13 11:37:38 · 852 阅读 · 0 评论 -
Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.classForName(Lj
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.classForName(Ljava/lang/String;)Ljava/lang/Class; at org.apache.spark.streaming.scheduler.JobGenerator.liftedTree1$1(JobGenerator.scala:52) at org.apache.spark.str...原创 2022-03-26 09:44:55 · 3384 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, ino
前置操作:hive-site.xml 拷贝到 sparkconf/目录 ;启动了hadoop集群, 启动spark; sbin/start-thriftserver.sh ;bin/beeline -u jdbc:hive2://hadoop102:10000 -n root就报错了:Connecting to jdbc:hive2://hadoop102:10000Error: Could not open client transport with JDBC...原创 2022-03-25 20:06:20 · 6522 阅读 · 0 评论 -
linux使用:sudo使用:ALL=(ALL)的详细解释
用户有root ,以及普通用户,但是普通用户想要执行高级权限(root权限)呢??sudo就是为想使用root权限的普通用户设计的,可以让普通用户具有临时使用 root 权限的权利。我们需要一张表记录,可以执行root权限的普通用户的名单,这个名单就是 记录在 /etc/sudoers使用root 用户编辑/etc/sudoers,给普通用户授权。加入如下的内容,保存。zhangsan ALL=(ALL) ALL这样普通用户就可以使用 sudo 执行 ro...原创 2022-03-25 19:49:12 · 4503 阅读 · 0 评论 -
Vmware centos7 linux 安装scala
scala下载官网选择版本,我选的2.12.11linux 下载 tag的原创 2022-03-25 11:17:18 · 1362 阅读 · 0 评论 -
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lo...
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lo...Exception in thread "streaming-job-executor-0" java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lorg/apache/原创 2022-03-24 10:25:04 · 938 阅读 · 0 评论 -
Scala 插件安装
说明:在ieda开发scala有两个条件:一是本地安装了scala,scala安装参考二是 idea 需要安装scala插件,就是本文的安装步骤。默认情况下 IDEA 不支持 Scala 的开发,需要安装 Scala 插件。 两种安装方式:1)插件离线安装2)插件在线安装(可选) 1)离线安装重启idea这里的前提是你已经安装了scala ,我安装的scala版本是2.12.11 可以查看:scala 安装HelloWorld 案例 测试scala是否成...原创 2022-03-24 09:52:12 · 3106 阅读 · 0 评论 -
Scala 下载安装配置
1)安装步骤 (1)首先确保 JDK1.8 安装成功 (2)下载对应的 Scala 安装文件 scala-2.12.11.zip (3)解压 scala-2.12.11.zip,我这里解压到 D:\Tools (4)配置 Scala 的环境变量 官网下载scala,选择版本配置环境变量测试(1)在键盘上同时按 win+r 键,并在运行窗口输入 cmd 命令 (2)输入 Scala 并按回车键,启动 Scala 环境。ctrl+c退出scala环...原创 2022-03-24 09:12:59 · 3724 阅读 · 0 评论 -
idea运行报错,原因是spark与scala版本不对应(实践)
cmd中scala 版本 2.13.6spark版本 3.1.3idea中提示 插件scala没有原创 2022-03-23 22:51:30 · 4572 阅读 · 0 评论 -
Spark在Windows下的环境搭建
参考原创 2022-03-22 20:19:41 · 333 阅读 · 0 评论 -
HMaster启动后自动关闭Failed to become active masterjava.net.ConnectException: Call From hadoop102/192.168.
现象描述:搭建好hbase集群并启动集群后发现,HMaster在启动后几秒内自动关闭,HRegionServer运行正常。报错信息----查看日志2022-03-18 20:50:08,913 FATAL [hadoop102:16000.activeMasterManager] master.HMaster: Failed to become active masterjava.net.ConnectException: Call From hadoop102/192.168.245.原创 2022-03-19 20:28:34 · 3760 阅读 · 0 评论 -
使用rsync同步时出现 (in rsync_opt)) failed: Permission denied (13)
检查了服务器的同步的目录权限都没有问题,网上找了说是开启了SELinux 的enforce模式,于事[root@test01 etc]# getenforceEnforcing果然是enforce模式,然后[root@test01 etc]# setenforce 0关闭enforce模式[root@test01 etc]# getenforcePermissive...原创 2022-01-30 15:13:09 · 1083 阅读 · 0 评论 -
dependency org.apache.hadoop:hadoop-client: XXXnot found
第一、pom.xml配置: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version></dependency> 第二、cmd进入到mav的bin目录,我的目录是d:\tools...原创 2022-01-24 16:36:41 · 7984 阅读 · 4 评论 -
解决VMware虚拟机ip地址127.0.0.1 无法上网问题,重启后仍然无法上网
今天早上就ping不同百度了。用 ifconfig测试,显示127.0.0.1解决办法: 输入 sudo dhclient -v命令再次查看ifconfig 看到已经有的ip地址,在火狐查看百度已经可以访问了...原创 2022-01-23 15:40:32 · 13648 阅读 · 4 评论