大数据
勋荣-软件服务
我是勋荣,一个独立开发者。运营了自己的社群,有自己的软件产品。目前还在探索各种副业的路上~
展开
-
记一次hadoop环境搭建中DataNode启动失败的问题!
hadoop的下载使用的是Hadoop 2.6.0-cdh5.15.0这个版本。之前为了搭建hadoop,看了很多网站上的文章,到了自己动手,出现一个奇怪的问题。就是我格式化hdfs以后,namenode节点启动失败!下面看看我的排查问题的过程,希望看到博客的朋友少绕弯路!先看下我的配置文件[root@miv hadoop]# cat core-site.xml<?xml ve...原创 2019-01-08 11:51:36 · 546 阅读 · 2 评论 -
kafka启动报错[could not be established. Broker may not be available.]
说明kafaka使用zookeeper,所以如果你没有启动zookeeper,那么可以使用下面命令,来启动一个内置的zookeeper软件。否则进行zookeeper的配置!> bin/zookeeper-server-start.sh config/zookeeper.properties[2013-04-22 15:01:37,495] INFO Reading configura...原创 2019-01-14 15:27:13 · 194750 阅读 · 2 评论 -
spring boot集成kafka
前言实现功能:在SpringBoot快速实现集成Kafka的操作。有多快?只需要3分钟!!创建Kafka项目IDEA选择FILE-New-Project-Spring Initaliz,然后进行下图设置,初始化项目配置spring: kafka: bootstrap-servers: 192.168.0.119:9092 consumer: group...原创 2019-01-14 17:14:50 · 1506 阅读 · 0 评论 -
Window下Spark环境搭建(可跑代码调试)
前言这篇博客是在同事的帮忙下完成的,这里我做一个记录,感谢牛逼的同事一波先。哈哈。本篇博客目的是指导搭建一个Spark的调试环境,在Win10下面。本人使用的开发工具是IDEA,博客里面用的的所有依赖包会在博客后面分享给需要的朋友,希望能帮助你,跨好大数据入门的一步。准备工作为了实现Spark的调试环境,我们下面需要准备如下的一些工具。hadoop-2.8.5.tar(Spark需要...原创 2019-01-09 10:24:04 · 1486 阅读 · 1 评论 -
生动形象的让你学会RabbitMQ
目录前言交换机的三种模式RabbitMQ SimulatorDirect Exchange模式Topic ExchangeFanout Exchange后记前言之前想学mq这些东西,不过没有一个直观的图像,认识起来总是感觉缺少了啥。今天机缘巧合看到了一个牛逼的网站RabbitMQ Simulator,借助它来学习MQ的三种模式感觉真的嗨!!交换机的三种模式1.Direct Exchang...原创 2019-02-18 18:01:53 · 514 阅读 · 0 评论