- 博客(23)
- 收藏
- 关注
RSS订阅原创 IDEA打jar架包
IDEA打JAR架包第一步：1、File-->Project Settings-->Artifacts--> 点击+ --> JAR -->from modules … -->Main Class 中选择要打包的类 --> 点击OK -->点击Apply -->点击OK第二步2、Build-- > Build ...
2018-08-02 12:11:42
865
1
转载 kafka的安装及使用
1.下载kafka（kafka_2.11-0.8.2.0.tgz）注意：强烈建议使用flume1.6，不要使用flume1.8点击打开链接2.上传到hadoop05节点3.解压文件tar -zxvf kafka_2.11-0.8.2.0.tgz -C apps/4.单节点启动（前台）bin/kafka-server-start.sh config/server.prop...
2018-07-31 20:26:26
324
原创 flume 安装
1、到官网下载安装包：http://flume.apache.org/download.html apache-flume-1.8.0-bin.tar.gz2、上传到集群中某一个节点上：先直接按alt+p键，然后直接把文件拖到节点上 3、解压安装：tar -zxvf apache-flume-1.8.0-bin.ta...
2018-07-31 19:46:00
357
转载 flume的安装及使用及各种案例
1.下载flume-1.6.0（apache-flume-1.6.0-bin.tar.gz）http://flume.apache.org/download.html2.上传到集群（本文上传到hadoop04节点）3.解压安装包tar -zxvf apache-flume-1.6.0-bin.tar.gz -C apps/并且修改文件夹名字mv apache-flume-1...
2018-07-31 19:22:49
1524
2
转载 hadoop的shell操作命令
1、hadoop fs -setrep 3 / 修改 （/ 根目录下）原来所有文件的副本为3 对以后上传的文件没有影响 ，不会设置成副本为3;2、hadoop fs -get 文件名 下载路径下载文件3、hadoop fs -put 文件名 上传路径 上传文件4、hdfs getconf -confkey fs.defau...
2018-07-30 17:21:43
372
转载 eclipse下开发hadoop的jar包配置
1.进入我们的hadoop安装目录（hadoop-2.7.5-centos-6.7.tar.gz版本），里面有我们需要的jar包 G:\myProgram\hadoop-2.7.5\share\hadoop2.按照如图所示进行添加eclipse用户自己的jar包3.把下图红线内的所有jar都添加进eclipse中（以mapreduce为例） 把红框的架包和lib内的架包添加...
2018-07-30 14:23:11
2354
1
转载 hadoop的eclipse的使用安装
1.把插件名为 hadoop-eclipse-plugin-2.7.5.jar 放在ECLIPSE_HOME/plugins 目录下2.把 hadoop-2.7.5-centos-6.7.tar.gz 解压到本地电脑 3.在本机配置windows环境变量HADOOP_HOME=C:\myProgram\hadoop-2.7.5 必须要配置的。path加入：%HADOOP_HO...
2018-07-30 14:20:22
320
转载 hadoop的eclipse开发环境安装
配置eclipse可视化hadoop环境1.下载 hadoop-eclipse-plugin-2.7.5.jar 并解压 此文jar包的作用是配置hdfs在eclipse中的文档目录树可视化窗口，作用如下图 把hadoop-eclipse-plugin-2.7.5.jar放入到ECLIPSE_HOME/plugins中 ### 我是把hadoop-ecl...
2018-07-29 23:57:45
342
转载 scala 的安装
因为Scala是运行在JVM平台上的，所以安装Scala之前要安装JDK Jdk1.81、 Windows安装Scala编译器访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包，目前最新版本是2.12.x，但是目前大多数的框架都是用2.11.x编写开发的，Spark2.x使用的就是2.11.x，所以这里推荐2.11.x版本，下载sc...
2018-07-28 18:02:26
173
转载 hive的HiveServer2/beeline配置及使用
第一：修改 hadoop 集群的 hdfs-site.xml 配置文件：加入一条配置信息，表示启用 webhdfscd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop<property> <name>dfs.webhdfs.enabled</name> <value>true<...
2018-07-28 11:00:40
8255
转载 hive-2.3.3的安装详解
1.安装前的准备： 首先需要搭建好hadoop集群并启动（需要启动hdfs和yarn） mysql启动正常2.hive的安装 方式一（不推荐）：内嵌 Derby 版本 1、 上传安装包 apache-hive-2.3.2-bin.tar.gz 2、 解压安装包 tar -zxvf apache-hive-2.3.2-bin.tar.gz -C ...
2018-07-25 20:03:37
2399
转载 Linux下安装Mysql
1.检查是否安装过mysqlrpm -qa|grep -i mysql2.如果发现有就卸载以前版本的mysqlrpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64（注意：上面的命令需要使用root用户，hadoop用户因为权限不够无法操作。使用 su root 进行切换）3.删除老版本mysql的开发头文件及库...
2018-07-19 21:14:30
309
转载 hbase-1.2.6的高可用集群搭建安装文档
1.安装 zookeeper 集群，此处略2.找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz， 这里给大家提供一个下载地址：http://mirrors.hust.edu.cn/apache/hbase/ 对应版本的官方文档：http://hbase.apache.org/1.2/book.html3.上传安装包到服务器，并解压到对应的安...
2018-07-19 20:32:18
471
转载 hadoop2.7.5搭建高可用集群
本文目的：搭建hadoop的高可用集群集群规划 1.下载 hadoop-2.7.5-centos-6.7.tar.gz 安装包2.通过CRT软件上传到hadoop02号机器3.解压软件到apps目录下tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/4.修改hadoop-env.sh 配置文件先查看jdk安...
2018-07-19 17:22:02
326
转载 zookeeper的linux安装
须知：zookeeper的节点数量不适宜太多，也不适宜太少。必须是奇数个本文准备的zookeeper集群的节点个数有3个分别是hadoop02， hadoop03， hadoop04zookeeper集群不用依赖于任何东西，除了JDK。版本的选择：zookeeper-3.4.5到10.tar.gz 都可以。安装步骤：（本文以zookeeper-3.4.10.tar.gz为例...
2018-07-18 18:18:20
122
转载 hadoop基础集群的安装
说明：该文章以4台centos系统为案例配置hadoop基础集群，节点名字分别为hadoop02,hadoop03,hadoop04,hadoop051.基础集群环境准备1.1修改主机名在root用户下：vi /etc/sysconfig/network或者如何配置了hadoop账户的sudo权限，则在hadoop登陆情况下使用命令 sudo vi/etc/sysconfig/ne...
2018-07-18 17:49:26
173
原创 IDE往集群中HBase中写数据 (实时写入数据)
1、创建封装对象 （列簇项）package com.aura.bean;import java.io.Serializable;//hbase 列簇项public class CategoryClickCount implements Serializable { //点击的品类 private String name; //点击的次数 private lo...
2018-05-28 17:06:56
1514
原创 IDE往集群中HBase中写数据 （简单代码）
1、创建封装对象 （列簇项）package com.aura.bean;import java.io.Serializable;//hbase 列簇项public class CategoryClickCount implements Serializable { //点击的品类 private String name; //点击的次数 private lo...
2018-05-23 23:29:26
365
转载 【项目二】项目实时统计
1.项目需求2.项目过程3.数据格式ver=1&en=e_pv&pl=website&sdk=js&b_rst=1920*1080&u_ud=12GH4079-223E-4A57-AC60-C1A04D8F7A2F&l=zh-CN&u_sd=8E9559B3-DA35-44E1-AC98-85EB37D1F263&c_time=14...
2018-05-23 18:33:08
740
1
原创 kafka HA（高可用搭建）
1、进入kafka的安装目录下的config目录2、修改 server.properties 配置文件[hadoop@hadoop02 config]$ vim server.properties 修改内容：zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:21813、从hadoop02发送kafka的安装文件...
2018-05-22 21:25:15
3049
1
原创 kafka 安装（单点节）
1、官网下载安装包：安装包：kafka_2.11-1.1.0.tgz2、解压安装： tar -zxvf kafka_2.11-1.1.0.tgz -C ~/apps/3、进入安装目录：cd apps/kafka_2.11-1.1.0/4、开启kafka之前要开启zookeeper （如果是HA，则所有的节点都要开启zookeeper，命令：zkServer.sh start）, ...
2018-05-22 20:18:29
1262
原创 flume 简单案历代码
1、创建case_single.properties内容如下：#监控指定的目录，如果有新的文件产生，那么将文件的内容显示到控制台#list the sources, sinks and channels for the agent#agent的名称可以自定义 a1 sources,sinks,channels的名称也可以自定义a1.sources =s1a1.sinks = k1a1.channe...
2018-05-22 19:16:40
546
转载 Spark-2.3各种集群的安装
准备安排：Spark的HASpark会安装在hadoop02,hadoop03,hadoop04,hadoop05上面注意需要先启动hdfs（必须）,在启动yarn（非必须可以使standalone模式）1.登陆：http://spark.apache.org/downloads.html 下载符合自己的Spark安装包2.上传到hadoop02节点3.解压安...
2018-05-22 08:41:55
4037
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人