羊羊002-CSDN博客

原创 Saprk的安装与配置

官网下载安装Scala：scala-2.12.8.tgz https://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /opt/module mv scala-2.12.8 scala 测试：scala -version 启动：scala 官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.t...

2019-05-24 15:58:27 339

原创 Hive数据仓库的搭建和简单的使用

下载安装包并解压下载地址http://archive.cloudera.com/cdh5/cdh/5/ 选择hive-1.1.0-cdh5.7.0.tar.gz包 [hadoop@hadoop000 ~]$ ll total 32 drwxrwxr-x 4 hadoop hadoop 4096 Jun 1 21:27 app --软件安装路径 drwx------ 3 h...

2019-05-24 15:48:10 406

原创 NoSQL数据库的简单使用（Redis、MongoDB等）

常用指令redis 一、String 概述：String是redis最基本的类型，最大能存储512MB的数据，String类型是二进制安全的，即可以存储任何数据、比如数字、图片、序列化对象等 1、设置 a、设置键值 set key value b、设置键值及过期时间，以秒为单位 setex key seconds value c、设置多个键值 mset key value [key value …...

2019-05-24 15:41:30 551

原创 Hbase的安装、配置以及进行一些简单的使用

下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Connect SF...

2019-05-24 15:30:50 203

原创用JAVA重写WordCount例子，并生成jar包运行于集群上

首先在Eclipse中新建java项目项目建成后，能够看到项目结构如下所示，src文件夹此时是空的接下来右键单击src新建包和类，然后就进入Wordcount程序的代码编写阶段代码 package hdfs.files; import java.io.IOException; import org.apache.hadoop.conf.Configuration; i...

2019-05-24 15:13:43 598 1

原创用JAVA API实现HDFS常用shell命令的功能（新建文件夹，上传文件，下载文件，判断文件是否存在）

新建文件夹 package hdfs.files; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; public class HDFSMKdir...

2019-05-24 14:58:59 1377

原创 Hadoop的安装配置

在<configuration>与</configuration>之间添加如下property： ①core-site.xml  <property> <name>fs.defaultFS</name> <value>hdfs://bigdata128:9000</value> </property>  <proper

2019-05-24 14:32:21 130

原创大数据技术与应用学习日志

大数据技术与应用学习内容问题解决启发大数据定义大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1 Byte...

2019-03-04 17:33:35 582