课程学习心得
Janeeyre47
这个作者很懒,什么都没留下…
展开
-
初识大数据应用技术
1. 大数据的定义对于“大数据”(Big data)研究机构Gartner给出了定义,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。引用自 big大鸟 的博客2.大数据的主要来源大数据的来源非常广泛,如信息管理系统、网络信息系统、物联网系统、科学实验系统等,其数据类型包括结构化数据、半结构化数据和非结构化数据。(1)信息管理...原创 2019-03-04 18:05:01 · 1023 阅读 · 0 评论 -
Hadoop与大数据的预处理
1.Hadoop的生态集群Ambair(安装 部署 配置 管理);Zookeeper(协作);HBbase(列式数据库);Hive(数据仓库);Pig(数据流);Mahout(数据挖掘);Flume(日志收集);MapReduce(分布式计算);HDFS(分布式文件系统)sqoop(ETL工具)深入学习参考此博文2.大数据的预处理(1)数据清洗(2)数据集成(3)数据变换(4)数据规...原创 2019-03-11 17:13:54 · 1347 阅读 · 0 评论 -
JAVA程序实现wordcount HDFS上传下载
一、实验前的准备1、下载并安装 eclipse链接: https://pan.baidu.com/s/1zi-XdBP2Q36GF64Np3cbcA提取码: y51qEclipse的安装比较简单,就不再记录了,我是参照百度经验安装的2、四个Java程序实现代码①HDFSDownloadpackage hdfs.files;import org.apache.hadoop.fs...原创 2019-05-26 11:47:16 · 301 阅读 · 0 评论 -
安装配置HBASE
一、实验前的准备1.下载hbase-1.4.9-bin.tar.gz安装包①官网 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/②百度网盘 链接: https://pan.baidu.com/s/1x6m30jqcWT_biXV8Z1belQ 提取码: p95n二、连接虚拟机,开始实验1.利用xftp将hbase-1...原创 2019-05-26 16:17:22 · 464 阅读 · 0 评论 -
CentOS下安装Redis
前言安装Redis时,我自己重装了三次,因为安装成功后,以后台进程方式启动Redis时总是出错,最后选择了redis-4.0.6版本,后来才知道:Redis约定次版本号(即第一个小数点后的数字)为偶数的版本是稳定版(如2.8版、3.0版),奇数版本是非稳定版(如2.7版、2.9版),生产环境下一般需要使用稳定版本。所以安装时要选择好所需的版本。我安装的版本号为4.0.6,如果不是该版本号,以...原创 2019-05-26 19:09:03 · 182 阅读 · 0 评论 -
安装并配置 Hive、MySQL,编写 HiveSQL 语句实现简单的CRUD操作
一、安装mysql1、下载安装包wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm2、解压并安装rpm -ivh mysql-community-release-el7-5.noarch.rpmyum install mysql-community-server3、重启mysql服务ser...原创 2019-05-26 20:06:53 · 414 阅读 · 0 评论 -
磨刀不误砍柴工—大数据开发工具的准备
学习大数据这门课程,我们用到了VMware、VanDyke、SecureCRT、Xshell、Eclipse-jee等开发工具这篇博文主要记录下我在学习过程中1.如何安装VMware2.如何在VMware中安装CentOS7虚拟机1、VMware破解安装包的获取与安装链接提取码(1)VMware的安装很简单,下载安装包解压后直接安装,不更改安装路径的话,一直点击“下一步”,至此界...原创 2019-05-22 18:20:28 · 170 阅读 · 0 评论 -
安装spark并编写scala 实现wordcount
一、实验环境准备1、安装scala2、安装安装spark原创 2019-05-27 09:44:47 · 379 阅读 · 0 评论 -
JDK+Hadoop安装配置、单机模式配置、Hadoop伪分布式模式配置
JDK+Hadoop安装配置、单机模式配置可以使用SecureCRT 或者 Xshell 连接到虚拟机,我重装四次SecureCRT依然无法连接到虚拟机,所以改用Xshell连接到虚拟机进行实验。连接上虚拟机后,开始实验1.关闭防火墙显示防火墙状态firewall-cmd --state临时关闭防火墙,每次开机重新开启防火墙systemctl stop firewalld禁止...原创 2019-05-24 10:21:26 · 307 阅读 · 0 评论