- 博客(8)
- 收藏
- 关注
RSS订阅原创 Saprk的安装与配置
官网下载安装Scala：scala-2.12.8.tgzhttps://www.scala-lang.org/download/tar -zxvf scala-2.12.8.tgz -C /opt/modulemv scala-2.12.8 scala测试：scala -version启动：scala官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.t...
2019-05-24 15:58:27
225
原创 Hive数据仓库的搭建和简单的使用
下载安装包并解压下载地址http://archive.cloudera.com/cdh5/cdh/5/ 选择hive-1.1.0-cdh5.7.0.tar.gz包[hadoop@hadoop000 ~]$ lltotal 32drwxrwxr-x 4 hadoop hadoop 4096 Jun 1 21:27 app --软件安装路径drwx------ 3 h...
2019-05-24 15:48:10
312
原创 NoSQL数据库的简单使用（Redis、MongoDB等）
常用指令redis一、String概述：String是redis最基本的类型，最大能存储512MB的数据，String类型是二进制安全的，即可以存储任何数据、比如数字、图片、序列化对象等1、设置a、设置键值set key valueb、设置键值及过期时间，以秒为单位setex key seconds valuec、设置多个键值mset key value [key value …...
2019-05-24 15:41:30
457
原创 Hbase的安装、配置以及进行一些简单的使用
下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Connect SF...
2019-05-24 15:30:50
128
原创 用JAVA重写WordCount例子，并生成jar包运行于集群上
首先在Eclipse中新建java项目项目建成后，能够看到项目结构如下所示，src文件夹此时是空的接下来右键单击src新建包和类，然后就进入Wordcount程序的代码编写阶段代码 package hdfs.files;import java.io.IOException;import org.apache.hadoop.conf.Configuration;i...
2019-05-24 15:13:43
503
1
原创 用JAVA API实现HDFS常用shell命令的功能（新建文件夹，上传文件，下载文件，判断文件是否存在）
新建文件夹package hdfs.files;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.IOException;public class HDFSMKdir...
2019-05-24 14:58:59
1303
原创 Hadoop的安装配置
在<configuration>与</configuration>之间添加如下property：①core-site.xml<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口--><property> <name>fs.defaultFS</name> <value>hdfs://bigdata128:9000</value></property><!--配置HDFS数据块和元数据保存的目录，一定要修改--><proper
2019-05-24 14:32:21
85
原创 大数据技术与应用学习日志
大数据技术与应用学习内容问题解决启发大数据定义大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1 Byte...
2019-03-04 17:33:35
491
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人