大数据
kongfanyu
这个作者很懒,什么都没留下…
展开
-
5分钟学会Zookeeper
一. 分布式安装部署1.0 下载地址官网首页: https://zookeeper.apache.org/下载地址: http://mirror.bit.edu.cn/apache/zookeeper/1.1 集群规划在node21、node22和ode23三个节点上部署Zookeeper,三个节点都已安装jdk。IP节点名称ZookeeperJDK192.168.100.21node21ZookeeperJDK192.168.100.22node22Z原创 2020-07-27 22:00:30 · 256 阅读 · 0 评论 -
Kafka集群搭建详细步骤
详情参考如下网站https://www.cnblogs.com/luotianshuai/p/5206662.html其他没有修改什么,我的环境是5台虚拟机,zoo.cfg文件配置如下:# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronizat...原创 2018-02-21 21:13:52 · 367 阅读 · 0 评论 -
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
软件版本号 jdk1.8、apache-flume-1.6.0-bin、kafka_2.8.0-0.8.0、zookeeper-3.4.5集群环境安装请先测试; 参考以下作者信息,特此感谢;http://blog.csdn.net/wzy0623/article/details/73650053https://www.cnblogs.com/sunyaxue/p/6645415.html需要向/u...原创 2018-03-06 15:58:28 · 4115 阅读 · 6 评论 -
CentOS 7 使用iptables 开放端口
CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙。1、关闭firewall:systemctl stop firewalld.servicesystemctl disable firewalld.servicesystemctl mask firewalld.service 2、安装iptables防火墙yum install iptables-servi...原创 2018-06-05 12:02:42 · 7564 阅读 · 0 评论 -
elasticsearch 完全分布式安装
1. 首先master节点的配置,修改elasticsearch的配置文件,config/elasticsearch.yml;添加如下配置cluster.name 指定集群的名称,node.name指定节点的名称,node.master: true指定该节点为主节点。elasticsearch服务2. 把当前主机的elasticsearch压缩包远程拷贝到三台机器scp e...原创 2018-10-28 16:48:55 · 2861 阅读 · 0 评论 -
elasticsearch-head 插件的安装
1. 首页下载node安装包 node-v9.8.0-linux-x64.tar.gz,直接解压即可。2. 查看node版本号:[root@master elasticsearch-head]# node -v3. 下载elasticsearch-head插件,解压4. 安装命令:npm install5.启动命令: npm run start6.打开浏览器查看此时...原创 2018-10-27 21:59:42 · 380 阅读 · 0 评论 -
Spark on Yarn ExecutorLauncher 异常解决
0. 保证Hadoop集群正常启动,Spark集群正常启动;有问题请百度1. Spark运行在yarn集群命令:spark-shell --master=yarn --deploy-mode=client2. 出现异常3.点击 application_1545547093570_0001 链接4. 点击有内容的日志文件5. 查看异常信息6. 找不到指定的类...原创 2018-12-23 17:09:22 · 3245 阅读 · 5 评论