![](https://img-blog.csdnimg.cn/20210826202618464.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
hadoop、spark
落叶阳光
汽车行业算法工程师,聚焦知识图谱和自然语言处理
展开
-
【hadoop】碎片知识点
HDFS文件块在集群中均匀分布时,HDFS工作状态最佳。默认的,Hadoop会保存3个复本,第一保存在运行客户端的节点,第二个和第三个保存在另一个机架上的两个随机节点。Mapreducemap任务处理本地数据时,性能最佳...原创 2021-08-18 17:25:45 · 241 阅读 · 0 评论 -
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口
问题:在虚拟机启动hadoop集群后,在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。问题排查:首先在windows里ping一下是否能通:若不能ping通,试一下ping IP地址,这里master的IP地址为192.168.128.130.若IP地址能ping通,则试一下在浏览器中将master换成IP地址访问一下:如果能利用IP访问,那么可以在Windows里面C:\Windows\System32\drive原创 2021-08-26 20:21:53 · 45556 阅读 · 12 评论 -
【hadoop】大数据开发环境软件下载地址
Hadoop大数据开发环境软件下载地址这是采用了张良均的《Hadoop大数据开发基础》里面的软件环境,环境搭建可以参考这位朋友写的一系列教程:(环境配置一)https://blog.csdn.net/qq_36563021/article/details/82533049(环境配置二)https://blog.csdn.net/qq_36563021/article/details/8256...原创 2019-07-21 18:45:28 · 588 阅读 · 0 评论 -
【hadoop】完全分布式集群配置文件
本文代码出自《Hadoop大数据开发基础》第二章,把几个修改量大的文件代码给贴出来,便于给同样使用这本书的人复制,因为纯手敲很累还容易出错。1.修改core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>h...原创 2019-07-21 18:58:22 · 348 阅读 · 0 评论 -
【hadoop】WordCount源码注解
WordCount是Hadoop官方提供的一个测试示例,用于词频统计,非常适合初学者学习。查看源码:解压hadoop发行版(如hadoop 2.6.4)的压缩包,在目录“hadoop-2.6.4\share\hadoop\mapreduce\sources"中找到hadoop-mapreduce-examples-2.6.4-sources.jar文件,解压。然后在解压后的目录中“org/ap...原创 2019-07-22 11:13:20 · 566 阅读 · 0 评论