7INrelief-CSDN博客

原创 Spark 实现 WordCount 三种方式 spark-shell、Scala、JAVA

Spark 实现 WordCount 三种方式 spark-shell、Scala、JAVA -- IntelliJ IDEA0x00 准备阶段0x01 现有环境0x10 实现WordCount0x11 spark-shell 实现 wordcount1.从本地加载word.txt进行字频统计2.从hdfs加载word.txt进行字频统计0x12 Scala 实现 WordCount1.使用Int...

2019-05-27 13:37:06 929

原创 IntelliJ IDEA导出Java 可执行Jar包的方法

IntelliJ IDEA导出Java 可执行Jar包的方法当项目可以正常运行后，我们可以导出jar到生成环境中使用1.打开项目结构点击 File > Project Structure如图：２．点击 Artifacts，点击+如图：3．新增 jar如图：4. 选择要导出的java类如图：5. 配置完成如图：6.导出jar包选择Build > Buil...

2019-05-26 12:38:35 1233

原创 IntelliJ IDEA 提示 Lambda expressions not supported at language level '5'

0x00 遇到问题在 java 中用到 lambda 表达式，提示 Lambda expressions not supported at language level ‘5’0x10解决方法因为 lambda 的版本等级和jdk 不符，所以修改lambda版本等级就行1.打开项目结构2.修改项目语言等级，依据jdk版本来修改，jdk 为 1.8 就修改为83.修改模块源语言等级，依...

2019-05-26 12:07:31 2376

原创 CentOS 7 搭建 Hadoop2.7.3 完全分布式集群

CentOS 7 搭建 Hadoop2.7.3 完全分布式集群0x00 准备工作0x01 安装虚拟机VMware以及CentOS 7 系统0x02 CentOS7 系统的基本配置一、网络设置0x00 准备工作0x01 安装虚拟机VMware以及CentOS 7 系统VMware官网：https://www.vmware.com/CentOS官网：https://www.centos.org...

2019-05-26 11:37:44 782

原创 Hive删除非空数据库，提示message:Database DBname is not empty. One or more tables exist.

Hive删除非空数据库0x00 问题：使用drop删除非空数据库数据库0x10 解决方法0x11 方案一：先删除数据库中的表，再删除数据库0x12 方案二：强制删除数据库0x00 问题：使用drop删除非空数据库数据库hive> drop database if exists DB_name;/*提示错误信息*/FAILED: Execution Error, return code...

2019-05-19 12:29:26 4068

原创 Hive 通过 SQL 查询语句实现 wordcount

Hive 通过 SQL 查询语句实现 wordcount0x00 环境0x01 Hadoop2.7.3完全分布式集群0x01 Hive2.3.40x10 准备需分析txt文件0x11 创建word.txt0x20 SQL查询实现wordcount0x21 进入hive shell0x22 创建数据库和表0x23 加载数据到表中0x24 使用查询语句完成wordcount0x30 参考0x00 环...

2019-05-19 12:12:11 647

原创 CentOS 7基于 Hadoo2.7.3完全分布式集群安装配置 spark2.4.3 以及安装 scala

CentOS7 基于 Hadoo2.7.3 安装spark2.4.3 以及安装 scala0x00准备0x01 前提0x02 下载 Spark 安装包0x03 下载 Scala 安装包功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也...

2019-05-18 18:56:25 886 1

原创 CentOS7 基于Hadoop2.7.3完全分布式安装Hive2.3.4以及安装MySql

CentOS7基于Hadoop2.7.3安装Hive2.3.40x00 本人的Hadoop集群已配置并且能正常运行0x10 安装Mysql5.70x11 为yum配置mysql57的源0x12 修改MySQL密码开启 mysql 中 root用户远程访问权限0x20 下载、配置Hive0x21到apache下载Hive的tar包0x22安装Hive，并设置环境变量0x23 配置hive-site....

2019-04-29 15:00:20 1505 1

原创修复Linux下Vmware workstation启动虚拟机提示"No 3D support is available from the host"等问题

修复Linux下Vmware workstation提示"No 3D support is available from the host" "Hardware graphics acceleration is not available" "hardware graphics acceleration is not available vmware"的问题0x00修复VMware "No 3D ...

2019-04-22 09:23:06 6893 1

原创使用Certbot测试证书更新时遇到 Certbot has problem setting up the virtual environment 错误及解决方法

目录背景问题说明错误信息解决方法背景站点安装Let’s Encrypt的证书,并且使用Certbot申请与安装，为了安全考虑此类证书有效期为90天，但很方便的是Certbot提供了更新方法，支持手动和自动更新。问题说明使用Certbot测试证书更新时遇到错误 Certbot has problem setting up the virtual environment更新测试：只是调用...

2019-03-04 17:26:13 1271

7INrelief的博客