weixin_42100884的博客

原创 以上七篇博客，均为学习实验中记录和搜索资料整理。因为有借鉴资料，再填文章出处时写为了转载。

以上七篇博客，均为学习实验中记录和搜索资料整理。因为有借鉴资料，再填文章出处时写为了转载。

转载 SPARK

安装配置本地运行模式 （单机）Spark下载地址http://spark.apache.org/downloads.html 根据hadoop版本选择对应的Spark。下载spark-2.4.0-bin-hadoop2.7.tgz到/app/hadoop/下，解压授权。配置好jdk环境[root@hadoop1 hadoop]# tar -vzxf spark-2.4.0-bin-hado...

转载 HIVE

1.从apache官网下载hivehttp://archive.cloudera.com/cdh5/cdh/5/2.配置环境变量3.安装mysql(如果前面已经安装过，此步骤跳过，还有记得将以前连接到java的那个mysql jar包，放置到lib目录下)sudo apt-get install mysql-server4.修改hive-site.xml(此文件可以从proto-hiv...

转载 NOSQL

转载 Mapreduce

WordCount实验环境Linux Ubuntu 14.0jdk-7u75-linux-x64hadoop-2.6.0-cdh5.4.5hadoop-2.6.0-eclipse-cdh5.4.5.jareclipse-java-juno-SR2-linux-gtk-x86_64实验步骤1.切换目录到/apps/hadoop/sbin下，启动hadoop。cd /apps/had...

转载 JDK+Hadoop安装配置

单机模式配置1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【Connect SFTP Sessio...

转载 大数据技术-HBase

①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Connect SFTP...

转载 大数据技术 --Maven

步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...