关注
分享
文章平均质量分 94
本专栏主要描述我的大数据自学之路;自学的时候肯定会遇上很多问题,我希望能把自己走过的路踩过的坑都记录下来,以免更多人像我这样绕路踩坑.不足之处请大家多多海涵
简一_hz
我拥有我的姿态！
展开
-
Hadoop2.8.0+Zookeeper3.4.8+Hbase1.2.6完全分布式配置
准备环境三台Ubuntu系统的电脑同一局域网Java1.8.0_121Hadoop2.8.0Zookeeper3.4.8Hbase1.2.6大家可以自行取官网下载各工具的最新版本.Hadoop完全分布配置安装JDK解压java1.8.0_121.tar.gz到/opt/jvm下,编辑 vim /etc/profile文件,添加jdk环境变量:source /etc/profile命令使配置生效ja...原创 2018-04-12 17:21:01 · 587 阅读 · 0 评论 -
Ubuntu16.04 Hive安装配置
说来自己断断续续自学大数据Hadoop已经有一段时间了，不过觉得还是晕乎乎的，各种看了就忘，好记性不如烂笔头，还是记录下吧，也希望能对后面自学的人能有所帮助。我的系统环境是Ubuntu16.04我安装的软件： Mysql Jdk1.8.0_121 apache-hive-2.1.1-bin mysql-connector-java-5.1.原创 2017-07-14 09:59:44 · 6309 阅读 · 0 评论 -
HBase配置及API运行
昨天和今天我主要学习了下HBase,在此记录下自己的学习心得。初次接触HBase,发现它有自带的zookeeper;我原先是完全分布式安装了hadoop的，三台机器，不过我运行的时候暂时只开了两台，所以下面出现的例子都是只起了两台的哈。按理是要分开另外安装zookeeper比较好，而不是使用HBase自带的内部的zookeeper，原因大概就是如下所述（摘自百度知道一用户的回答，个人觉得他原创 2017-07-18 11:25:38 · 761 阅读 · 0 评论 -
Hadoop/Eclipse - Exception NoClassDefFoundError: org/apache/hadoop/fs/FileSystem解决方法
今天在学习日志网站分析项目案例的时候遇上了一个问题，在此记录下解决方法。PS：具体项目操作大家请看Hadoop学习-日志网站分析项目案例里面讲的很具体项目，伟一步步照着来成功在自己的分布式hadoop环境下实现了，很感谢那个博客的作者。下面我讲下当我们遇到下面错误时该如何解决Exception in thread "main" java.lang.NoClassDefFoundEr原创 2017-07-19 17:32:57 · 6891 阅读 · 0 评论 -
在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群
转载自http://www.dockone.io/article/1047，感谢作者方圆小生功能和环境说明实际环境是开发使用的两台服务器，每个服务器上是三个集群容器节点，总共六个节点，使用weave实现跨主机的通信，并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。目前网上跨主机的工具很多，我挑选的是使用普遍点和资料转载 2017-07-26 13:38:05 · 1143 阅读 · 1 评论