自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 伪分布式hadoop+spark+scala 搭建(期中作业)

1.访问Hadoop500702.访问spark80803.spark-shell进入交互式界面4.Scala

2024-04-29 17:36:23 90

原创 Hive组件安装配置

MySQL 数据库安装后的默认密码保存在/var/log/mysqld.log 文件中,在该文件中以 password 关键字搜索默认密码。将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件,更名为 hive-site.xml。流程:# 输入/var/log/mysqld.log 文件中查询 到的默认 root 用户登录密码。# MySQL 软件包路径 /opt/software/mysql-5.7.18/

2024-04-09 19:33:47 964

原创 快速配置虚拟机ip及yum仓库

当前日期和时间,UUID的第一个部分与时间有关,如果你在生成一个UUID之后,过几秒又生成一个UUID,则第一个部分不同,其余相同。(大多情况下就在这里设置)若该选项指定为yes,则表示网络启动后加载的dns服务器的位置该文件内的DNS参数,而不是/etc/resolv.conf文件。全局唯一的IEEE机器识别号,如果有网卡,从网卡MAC地址获得,没有网卡以其他方式获得。设置网卡对应的IP地址,网络服务启动,网卡激活后会自动将该地址配置到网卡上。获取IP地址的方式,启动的协议,获取配置的方式。

2024-03-20 20:40:07 654 2

原创 spark大数据快速编程入门

MapReduce它具有很高的容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,不至于这个任务运行失败,而且这个过程不需要人工参与,而完全是由Hadoop内部完成的。client:切分文件,访问hdfs,与namenode交互,获取文件位置信息,与datanode交互,读取和写入数据。float:4个字节,32位,单精度,能精确到6~7位,声明一个小数类型,要加F或者f,建议加F。double:8个字节,64位,双精度,能精确到15~16位,小数类型默认是double类型。

2024-03-13 18:20:06 953

原创 Hadoop

查询元数据信息,获得这个文件的数据块位置列表,返回封装DFSIntputStream的HdfsDataInputStream输入流对象。:非结构化数据本质上是结构化数据之外的一切数据。简单的说,非结构化数据就是字段可变的的数据。4.客户端接收数据。如遇到异常,跳转至步骤2,直到数据全部读出,而后客户端关闭输入流。数据,是能够用数据或统一的结构加以表示的信息,如数字、符号。例:文本文件,电子邮件,微信,office文档。HDFS架构:主从架构。服务器,请求建立输入流。可以从名称中看出,是。

2024-03-06 00:33:15 167

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除