- 博客(5)
- 收藏
- 关注
RSS订阅原创 伪分布式hadoop+spark+scala 搭建（期中作业）
1.访问Hadoop500702.访问spark80803.spark-shell进入交互式界面4.Scala
2024-04-29 17:36:23
102
原创 Hive组件安装配置
MySQL 数据库安装后的默认密码保存在/var/log/mysqld.log 文件中，在该文件中以 password 关键字搜索默认密码。将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件，更名为 hive-site.xml。流程：# 输入/var/log/mysqld.log 文件中查询 到的默认 root 用户登录密码。# MySQL 软件包路径 /opt/software/mysql-5.7.18/
2024-04-09 19:33:47
973
原创 快速配置虚拟机ip及yum仓库
当前日期和时间，UUID的第一个部分与时间有关，如果你在生成一个UUID之后，过几秒又生成一个UUID，则第一个部分不同，其余相同。（大多情况下就在这里设置）若该选项指定为yes，则表示网络启动后加载的dns服务器的位置该文件内的DNS参数，而不是/etc/resolv.conf文件。全局唯一的IEEE机器识别号，如果有网卡，从网卡MAC地址获得，没有网卡以其他方式获得。设置网卡对应的IP地址，网络服务启动，网卡激活后会自动将该地址配置到网卡上。获取IP地址的方式，启动的协议，获取配置的方式。
2024-03-20 20:40:07
669
2
原创 spark大数据快速编程入门
MapReduce它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。client：切分文件，访问hdfs，与namenode交互，获取文件位置信息，与datanode交互，读取和写入数据。float：4个字节，32位，单精度，能精确到6~7位，声明一个小数类型，要加F或者f，建议加F。double：8个字节，64位，双精度，能精确到15~16位，小数类型默认是double类型。
2024-03-13 18:20:06
961
原创 Hadoop
查询元数据信息，获得这个文件的数据块位置列表，返回封装DFSIntputStream的HdfsDataInputStream输入流对象。：非结构化数据本质上是结构化数据之外的一切数据。简单的说，非结构化数据就是字段可变的的数据。4.客户端接收数据。如遇到异常，跳转至步骤2，直到数据全部读出，而后客户端关闭输入流。数据，是能够用数据或统一的结构加以表示的信息，如数字、符号。例：文本文件，电子邮件，微信，office文档。HDFS架构：主从架构。服务器，请求建立输入流。可以从名称中看出，是。
2024-03-06 00:33:15
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人