hadoop
大树168
现在才明白,要赚到足够令自己安心的钱,才能过上简单、安逸、自由的生活,才能让自己活得更有底气。所以,多花时间努力,少点功夫矫情
github地址
https://github.com/lmchuyang/huyang
展开
-
linux+Hadoop2.7.6环境搭建+ win10+eclipse开发程序
开始 linux平台下Hadoop下载、安装、配置第一步, 下载安装 maven 配置环境 变量2、下载maven安装包 wget wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz 3、解压缩maventar -zxvf apac...原创 2018-09-01 11:27:21 · 756 阅读 · 0 评论 -
Hadoop用 Java 封装 HDFS API 对文件简单操作
环境介绍服务端 hadoop:2.7.6服务端 contos 7 win10 客户端 hadoop:2.7.3 Eclipse4.4简单操作文件的一些方法,也可以结合Eclipse直接操作文件,远程连接服务端, 为了练手写下基本操作和熟悉一些命令下面是项目结构,环境配置请参考我之前写的文章 ,下面直接贴代码了,注释都写在方法里pack...原创 2018-09-15 12:43:33 · 600 阅读 · 0 评论 -
Hadoop-MapReduce初步应用-统计单词个数
参考官网的单词统计,上传文本文件读取数据,统计等,首先准备好文本文件,随便写点单词,再看统计结果正确与否。注释都 写在代码里了,希望能帮到入门的开发人员项目结构如下,读出的数据一起发出来了 package hadoop.com.test;import java.io.IOException;import java.util.StringTokenizer;impor...原创 2018-09-15 14:12:42 · 405 阅读 · 0 评论 -
hadoop+win10+Eclipse环境导包注意事项
说明 hadoop-eclipse-plugin.zip 版本2.7.31 inport-hadoop文件夹下的包,全部都 是从第一个hadoop-eclipse-plugin下载版本的JAR插件里面lib下面的所有包,然后下面四个不一样的包,有三个是从hadoop2.7.3下面的tool文件夹下导入进来的,另一个是下载的包,2 也可以导第二次下载的插件里面的JAR...原创 2018-09-15 15:02:14 · 295 阅读 · 0 评论 -
CentOS7下hbase安装和配置
版本 hadoop2.7.6版本 hbase-1.2.7 #Hadoop启动#hbase启动,cd /usr/lib/hbase/bin/usr/lib/hbase/bin/start-hbase.sh#进入HBASE/usr/lib/hbase/bin/hbase shell ##########################################...原创 2018-10-12 19:34:46 · 4771 阅读 · 0 评论 -
kylin单机版搭建OLAP
最近想尝试大数据框架,所以选择了kylin当然 druid框架也是很不错,不过他有自己特定的语言,不支持SQL,这样对后期改造项目不方便,另外是kylin团队是国内维护,中文文档全,所以就选它来试试手首生下载http://kylin.apache.org/download/ 2.6.1 下载安装版本http://mirrors.shu.edu.cn/apache/kylin/...原创 2019-03-22 18:41:06 · 1476 阅读 · 0 评论 -
druid+superset安装和简单使用
最近一直在折腾大数据框架,后续会把KYLIN框架也玩起来 首安装druid最开始是使用docker安装方式,因为配置文件认证的KEY报错,自己编译又没有通过,直接放弃,然后直接下载安装包,ZOOKEEPER我是用docker安装的,没有用官方数据 首先安装环境官方说明,我本机其实是4G内存双核也能跑起来Java 8 or higherLinux, Mac OS ...原创 2019-04-02 16:18:18 · 2900 阅读 · 2 评论 -
kafka生产环境集群搭建
三台服务器准备工作 安装java环境 搭建zookeeper集群 搭建kafka集群服务器配置主机名 IP地址 硬件配置 kafka-1 192.168.1.162 24CPU、46G内存、600G存储 kafka-2 192.168.1.166 24CPU、64G内存、600G存储 kafka-3 192.168....原创 2019-05-29 09:58:09 · 1853 阅读 · 0 评论