- 博客(2)
- 收藏
- 关注
RSS订阅原创 伪分布式攻略
root@master ~]# systemctl stop firewalld 关闭防火墙后要查看防火墙的状态，确认一下。修改 mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml。命令：cp mapred-site.xml.template mapred-site.xml）修改 hdfs-site.xml 将dfs.replication设置为1。修改文件yarn-site.xml。修改 core-site.xml。
2024-04-25 17:23:15
881
原创 详细攻略spark
Mapreduce最大的优点是它简单的编程模型，程序猿只需根据该模型框架设计map和reduce函数，剩下的任务，如：分布式存储、节点任务调度、节点通讯、容错处理和故障处理都由mapreudce框架来完成，程序的设计有很高的扩展性。Kafka, 是一种分布式的，基于发布/订阅的消息系统,类似于消息对列的功能，可以接收生产者（如webservice、文件、hdfs、hbase等）的数据，本身可以缓存起来，然后可以发送给消费者（同上），起到缓冲和适配的作；对非结构化的数据，一般以二进制的形式直接整体进行存储。
2024-03-07 16:46:43
823
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人