Hadoop集群
GYT0313
邮箱:guyongtao@qq.com
展开
-
Ubuntu+hadoop集群验证
1.集群搭建参考:https://blog.csdn.net/qq_38038143/article/details/83050840在已搭建的集群中,修改配置文件yarn-site.xml:与参考文章不同的原因为:执行运算命令时命令卡住即不能进一步执行。<configuration><!-- Site specific YARN configuration prop...原创 2018-10-23 19:48:02 · 294 阅读 · 0 评论 -
HDFS中JavaAPI对文件的上传、查询
Ubuntu + Hadoop2.7.3集群搭建:https://blog.csdn.net/qq_38038143/article/details/83050840Ubuntu配置Eclipse + Hadoop环境:https://blog.csdn.net/qq_38038143/article/details/83412196操作环境:Hadoop集群,4个DataNode。1.创...原创 2018-10-26 20:43:50 · 2340 阅读 · 0 评论 -
安装HBase--单节点、伪分布式、完全分布式安装
1.下载HBase链接:http://mirrors.cnnic.cn/apache/hbase/选择 stable 目录,下载 bin 文件:在Linux上解压,博客中解压在/home/hadoop 目录下:进入解压目录:2.修改配置修改JDK路径、启用HBase自带zookeepervim conf/hbase-env.shJDK路径按照安装路径配置:启用自带z...原创 2018-11-15 13:28:52 · 520 阅读 · 0 评论 -
Hadoop-(wordcount升级版)分析日志统计IP地址来源
1. 前言由于隐私问题,这里不提供日志,可自行准备或随机生成。2. 分析分析日志统计出IP地址来源,重点无非是IP地址,如下图:通过正则表达式提取合理IP地址:正则表达式在线测试网站:http://tool.oschina.net/regex/如下图:将提取出的IP地址查询其地址来源批量IP地址查询网站:http://ip.soshoulu.com/如下图:导出...原创 2018-11-21 20:20:38 · 602 阅读 · 0 评论 -
HBase-启动HBase后,HMaster自动消失
报错分析执行启动命令:start-hbase.sh 后,查看节点的jps,确实能够查看到HMaster启动,但是几秒后再次查看,HMaster已经消失。在网上查找了很多方法,如:文件权限问题(博主尝试了Hadoop、HBase、JDK安装目录的权限皆修改为Hadoop用户)域名解析(即节点之间不能ping通,但是博主的节点能够互相ping通)hbase-site.xml,zookeep...原创 2018-11-17 14:22:15 · 7670 阅读 · 0 评论 -
VirtualBox配置多台Linux实现互相通信(dhcp自动获取)
1. 配置VirtualBox在Virtualbox界面,选择 管理-> 全局设定,添加如下图:设置Linux网卡:启动Linux。2. 配置网卡文件vim /etc/sysconfig/network-scripts/ifcfg-eth0内容如下:重启网络:service nework restart查看IP:同理,其他Linux机器一样如上配置,查询如下:...原创 2018-11-28 20:58:28 · 936 阅读 · 0 评论 -
非常详细、全面的大数据组件安装及IDEA开发环境搭建 - 搭建虚拟机集群 -包括Hadoop、HBase、Zookeeper、Spark、Kafka、Flume、IDEA
前言文章很长很长,建议配合右边的目录。。。博主在学习大数据过程中也写过各种组件的安装步骤,但是比较零散。最近,在学习Spark Streaming中需要开启很多大数据服务,笔记本搭建虚拟机的集群已经带不动程序。正好,学校配了台高配的主机,所以决定从头开始搭建大数据的集群。并且记录完整、详细的安装过程。注:学习大数据希望你的电脑配置不要太低,如果太低连虚拟机都运行不起来。如果配置不算高,能够...原创 2019-05-13 11:50:34 · 2242 阅读 · 0 评论