- 博客(13)
- 收藏
- 关注
原创 Spark与Scala的安装配置(环境变量)以及运行wordcount
Spark与Scala的安装配置(环境变量)以及运行wordcount一、Spark与Scala版本兼容问题:二、scala的安装配置三、spark的安装配置四、Spark-shell一、Spark与Scala版本兼容问题:Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala 2.12。您需要使...
2019-05-23 22:26:04
1704
原创 Hive的安装配置以及运行wordcount
Hive的安装配置以及运行wordcount一、MySQL安装卸载MySQL二、Hive安装与配置三、MySQL Connector/J安装四、启动hive五、Hive应用实例:wordcount学习资料一、MySQL安装①官网下载mysql-server(yum安装)wget http://dev.mysql.com/get/mysql-community-release-el7-5.no...
2019-05-23 09:49:42
329
原创 redis安装
redis安装1、从官网:https://redis.io/ 下载对应版本的 Redis(redis-3.2.6.tar.gz)安装包2、上传到虚拟机根目录下SecureCRT 【File】→【Connect SFTP Session】开启sftp操作put e:/redis/redis-3.2.6.tar.gz3、解压到对应的安装目录tar -zxvf ~/redis-3.2.6....
2019-05-22 17:07:21
195
原创 HBase安装配置(伪分布模式)以及HBase数据库的简单操作
HBase安装配置(伪分布模式)以及HBase数据库的简单操作一、HBase安装二、HBase配置(伪分布式模式)三、进入HBase数据库四、HBase架构原理五、Hbase Java API警告一、HBase安装①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录)官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbas...
2019-05-22 16:25:26
1702
原创 MapReduce运行wordcount程序
MapReduce运行wordcount程序1、Eclipase里面在Maven项目下编写两个java程序代码:①主程序代码:public class WordCount { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { ...
2019-05-22 15:50:29
258
原创 Eclipse新建Maven项目并运行(打包)java程序实现hdfs与本地之间的上传或下载文件
Eclipse新建Maven项目并运行(打包)java程序实现hdfs与本地之间的上传或下载文件一、在Eclipse里新建Maven Project二、输入com.bla,项目名称HDFSTest,如果项目要运行到web的话在package处选择war,我们这里选择jar的形式。3、自动生成Maven项目,新建包hdfs.files,包里新建class:4个java文件。四、可直接运行四个java...
2019-05-22 15:29:22
1245
原创 Windows里安装配置JDK+Eclipse+Maven
安装配置JDK+Eclipse+Maven步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。)1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/java...
2019-05-22 14:51:50
258
原创 Hadoop完全分布式模式配置并运行wordcount
Hadoop完全分布式模式配置并运行wordcount一、新建另外两台Linux虚拟机完全分布式模式共三台虚拟机,前述伪分布式的虚拟机(bigdata128)作为master主节点,克隆另外两个虚拟机(bigdata129、bigdata131)作为slaves子节点,克隆机自带安装JDK、Hadoop及配置文件。注:此配置是为学习所用,且电脑资源有限,因此照搬伪分布式配置,将NameNod...
2019-05-22 11:29:34
929
原创 如何克隆虚拟机
如何克隆虚拟机1、先关闭被克隆虚拟机,【虚拟机(M)】→【管理(M)】→【克隆©】然后点击下一步。2、选择–>虚拟机中的当前状态(c),点击下一步3、选择–>创建完整克隆(F),点击下一步。4、输入克隆的虚拟机的名称,和当前虚拟机要保存的位置。然后点击完成即可创建克隆虚拟机。...
2019-05-22 11:18:32
1944
原创 Hadoop伪分布式模式配置并运行wordcount
Hadoop伪分布式模式配置并运行wordcount只有一台虚拟机bigdata128,既是namenode又是datanode。一、基础安装配置首先要完成jdk+hadoop的安装配置;点击以下链接完成配置。https://blog.csdn.net/Wxp_csdn/article/details/90439386二、修改以下5个配置文件在与之间添加如下property:①co...
2019-05-22 11:04:01
941
原创 JDK+Hadoop安装配置
JDK+Hadoop安装配置1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【Connect SFT...
2019-05-22 10:44:56
433
原创 虚拟机不能显示ip地址的解决问题
虚拟机不能显示ip地址的解决问题在root用户根目录下输入:dhclient -v在root用户根目录下输入:dhclient -v### 输完命令确定就可以看到虚拟机的ip地址了!...
2019-05-22 10:21:22
2353
原创 大数据学习路线
大数据大数据定义大数据学习路线名词解释大数据定义大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据...
2019-03-04 18:23:26
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人