- 博客(6)
- 收藏
- 关注
RSS订阅原创 搭建单机伪分布式Hadoop+spark+scala
1.使用 root 用户，将 Hive 安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件，更名为 hive-site.xml。6.MySQL 数据库安装后的默认密码保存在/var/log/mysqld.log 文件中，在该文件中以 password 关键字搜索默认密码。
2024-04-26 17:42:36
856
3
原创 创建的全部过程详情
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。安装命令如下，将安装包解压到/usr/local/src 目录下 ，注意/opt/software目录 下的软件包事先准备好。使用 root 用户登录，修改 SSH 配置文件"/etc/ssh/sshd_config"的下列内容，需要将该配 置字段前面的#号删除，启用公钥私钥配对认证方式。
2024-04-26 15:22:34
497
原创 配ip简单讲解
删除yum缓存后就可以开始使用了。然后查看挂载情况 df -hT。需要将源镜像文件挂到/目录下。1 ：配置永久网络ip。查看文件进行仓库配置。
2024-03-21 21:30:48
225
原创 Spark知识小解
1.Hadoop生态圈及组件：在了解 Hadoop 生态系统及其组件之前，我们首先了解一下 Hadoop 的三大组件，即 HDFS、MapReduce、YARN，它们共同构成了 Hadoop 分布式计算框架的 核心。HDFS（Hadoop Distributed File System）：HDFS 是 Hadoop 的 分布式文件系统，它是将大规模数据分散存储在多个节点上的基础。
2024-03-13 18:28:35
869
原创 Hadoop
客户端通过DFSInputStream.read()方法从最优的DataNode节点上读取数据块，数据块会以数据包(packet)为单位从数据节点通过流式接口传递到客户端，当一个数据块读取完毕时，其会再次调用ClientProtocol.getBlockLocations()获取文件的下一个数据块位置信息，并建立和这个新的数据块的最优DataNode之间的连接，然后hdfs客户端就会继续读取该数据块了。1.大数据的特征:大量，高速，多样，低价值密度。2.结构化数据： 结构化的数据一般是指可以使用。
2024-03-01 17:57:04
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人