- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop伪分布式
core-site.xml：设置Hadoop全局属性，如HDFS的默认FS URI（fs.defaultFS）应指向本地的伪分布式模式，例如 hdfs://localhost:9000；临时文件目录（hadoop.tmp.dir）设置为一个可用的本地路径，如 /usr/local/src/hadoop/tmp。将下载的Hadoop压缩包上传至目标机器，并解压缩至指定目录（如 /opt 或 /usr/local/src）。打开浏览器输入http://localhost:50070。
2024-04-26 17:05:48
676
原创 如何配置永久IP、临时IP以及yum仓库
使用ifconfig命令配置临时IP地址的优点是很容易实现，而且只在当前会话中有效。但是，如果服务器需要经常重启，每次都需要重新配置IP地址，这将变得非常繁琐。临时IP地址配置是指在CentOS服务器上设置一个暂时的IP地址，该地址只在本次启动期间有效，并在重启后失效。永久IP地址配置是指在CentOS服务器上设置一个固定的IP地址，该地址在重启后仍然有效。接着使用vi编辑器打开我们建立的repo文件，在其中输入以下内容。1.选择挂载路径并挂载在/media目录下。2.找到网卡文件并编辑。
2024-03-21 23:56:12
337
原创 大数据相关
1.快速：Spark在内存中的运行速度是Hadoop MapReduce运行速度的100多倍，Spark在磁盘中的运行速度是Hadoop MapReduce运行速度的10多倍。3.通用：Spark框架包含多个紧密集成的组件，包括Spark SQL（即席查询）、Spark Streaming（实时流处理）、Spark MLlib（机器学习库）、Spark GraphX（图计算），并且Spark支持在一个应用中同时使用这些组件。通过水平扩展，可以处理PB级别的数据，满足高性能和高吞吐量的需求。
2024-03-14 22:15:04
229
原创 云上大数据
非结构化数据需要特殊的技术和工具来进行处理和分析。多样性（Variety）：大数据来自多种来源，包括结构化数据（如数据库中的数据）、半结构化数据（如 XML、JSON 格式的数据）和非结构化数据（如文本、图像、音频、视频等）。非结构化数据：社交媒体上的用户评论、推文和帖子内容，这些数据通常包含文本、图片、视频等多种形式，难以用传统的表格方式进行组织和存储，因此属于非结构化数据。结构化数据：一个关系型数据库中的客户订单表格，包含订单号、客户姓名、产品名称、数量和价格等字段的数据，是一种典型的结构化数据。
2024-03-08 12:56:09
802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人