- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark与Scala的安装配置（环境变量）以及运行wordcount
Spark与Scala的安装配置（环境变量）以及运行wordcount一、Spark与Scala版本兼容问题：二、scala的安装配置三、spark的安装配置四、Spark-shell一、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使...
2019-05-23 22:26:04
1668
原创 Hive的安装配置以及运行wordcount
Hive的安装配置以及运行wordcount一、MySQL安装卸载MySQL二、Hive安装与配置三、MySQL Connector/J安装四、启动hive五、Hive应用实例：wordcount学习资料一、MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.no...
2019-05-23 09:49:42
246
原创 redis安装
redis安装1、从官网：https://redis.io/ 下载对应版本的 Redis（redis-3.2.6.tar.gz）安装包2、上传到虚拟机根目录下SecureCRT 【File】→【Connect SFTP Session】开启sftp操作put e:/redis/redis-3.2.6.tar.gz3、解压到对应的安装目录tar -zxvf ~/redis-3.2.6....
2019-05-22 17:07:21
160
原创 HBase安装配置（伪分布模式）以及HBase数据库的简单操作
HBase安装配置（伪分布模式）以及HBase数据库的简单操作一、HBase安装二、HBase配置（伪分布式模式）三、进入HBase数据库四、HBase架构原理五、Hbase Java API警告一、HBase安装①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbas...
2019-05-22 16:25:26
1588
原创 MapReduce运行wordcount程序
MapReduce运行wordcount程序1、Eclipase里面在Maven项目下编写两个java程序代码：①主程序代码：public class WordCount { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { ...
2019-05-22 15:50:29
247
原创 Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件
Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件一、在Eclipse里新建Maven Project二、输入com.bla，项目名称HDFSTest，如果项目要运行到web的话在package处选择war，我们这里选择jar的形式。3、自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。四、可直接运行四个java...
2019-05-22 15:29:22
1128
原创 Windows里安装配置JDK+Eclipse+Maven
安装配置JDK+Eclipse+Maven步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/java...
2019-05-22 14:51:50
230
原创 Hadoop完全分布式模式配置并运行wordcount
Hadoop完全分布式模式配置并运行wordcount一、新建另外两台Linux虚拟机完全分布式模式共三台虚拟机，前述伪分布式的虚拟机（bigdata128）作为master主节点，克隆另外两个虚拟机（bigdata129、bigdata131）作为slaves子节点，克隆机自带安装JDK、Hadoop及配置文件。注：此配置是为学习所用，且电脑资源有限，因此照搬伪分布式配置，将NameNod...
2019-05-22 11:29:34
900
原创 如何克隆虚拟机
如何克隆虚拟机1、先关闭被克隆虚拟机，【虚拟机(M)】→【管理(M)】→【克隆©】然后点击下一步。2、选择–＞虚拟机中的当前状态（c），点击下一步3、选择–＞创建完整克隆（F），点击下一步。4、输入克隆的虚拟机的名称，和当前虚拟机要保存的位置。然后点击完成即可创建克隆虚拟机。...
2019-05-22 11:18:32
1878
原创 Hadoop伪分布式模式配置并运行wordcount
Hadoop伪分布式模式配置并运行wordcount只有一台虚拟机bigdata128，既是namenode又是datanode。一、基础安装配置首先要完成jdk+hadoop的安装配置；点击以下链接完成配置。https://blog.csdn.net/Wxp_csdn/article/details/90439386二、修改以下5个配置文件在与之间添加如下property：①co...
2019-05-22 11:04:01
912
原创 JDK+Hadoop安装配置
JDK+Hadoop安装配置1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【Connect SFT...
2019-05-22 10:44:56
420
原创 虚拟机不能显示ip地址的解决问题
虚拟机不能显示ip地址的解决问题在root用户根目录下输入：dhclient -v在root用户根目录下输入：dhclient -v### 输完命令确定就可以看到虚拟机的ip地址了！...
2019-05-22 10:21:22
2303
原创 大数据学习路线
大数据大数据定义大数据学习路线名词解释大数据定义大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据...
2019-03-04 18:23:26
338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人