2020年06月_问题不太大

原创 Hbase单节点伪分布式搭建

Hbase伪分布式搭建引言Hbase伪分布式搭建是指在一台机器上同时运行 Hmaster、 Hregionserver，该文章基于Hadoop伪分布式搭建Hadoop伪分布式搭建传送门搭建过程Zookeeper安装将Zookeeper压缩包上传至服务器解压缩Zookeeper二进制文件[root@CentOS ~]# tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/install/c进入Zookeeper根目录[root@CentOS ~]#

2020-06-27 16:19:07 29288

原创 Hive安装(超详细)

Hive安装前提环境Hive安装解压文件修改配置文件HDFS创建Hive工作空间配置Hive环境变量Hive启动替换Hive原生MetaStore前提环境Linux基础设置以及Hadoop环境安装请看上一篇文章Hive安装解压文件[root@localhost ~]# tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/install/修改配置文件[root@localhost apache-hive-1.2.2-bin]# cd /opt/in

2020-06-24 18:03:00 33327 4

原创 Hadoop 伪分布式搭建(超详细)

Hadoop伪分布式搭建虚拟机准备阶段操作安全设置防火墙相关指令关闭关闭selinuxIP设置查看机器IP修改主机名修改IP及主机名映射SSH免密登陆Hadoop伪分布式搭建JDK配置解压配置环境变量Hadoop配置解压文件修改配置文件配置Hadoop环境变量验证环境变量是否配置成功格式化NameNodeHadoop起停命令查看WebUI界面虚拟机准备阶段操作本文是基于CentOS 7 系统搭建相关资源下载链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qq

2020-06-24 17:44:34 43689 13

原创 Spark入门( 九)——机器学习 Spark MLlib

Spark MLlib机器学习是什么？机器学习Spark MLlibSpark MLlib案例快速入门基本统计Correlation(相关性)Hypothesis testing(假设检验)Summarizer(总结器)未完待续。。。机器学习是什么？机器学习数据挖掘有着50多年的发展历史。机器学习就是其子领域之一，特点是利用大型计算机集群来从海量数据中分析和提取知识机器学习与计算统计学密切相关。它与数学优化紧密关联，为其提供方法、理论和应用领域。机器学习在各种传统设计和编程不能胜任的计算机任务中有广

2020-06-24 13:13:59 29189

原创 Thread.sleep(0)到底是个什么骚操作？

今天看到一段有意思的代码：Thread.sleep(0)，下面就来分析一下这串看似无用的代码到底有没有用。Thread.sleep(0)到底是个什么骚操作，这睡0毫秒和不睡有什么区别吗？操作系统资源的分配策略想要去了解多线程，就先要去了解操作系统中资源的不同分配策略在操作系统中，CPU资源的分配策略有多种，下面就拿两种最为典型的策略举例：时间片算法基于时间片算法分配资源的代表就是Unix系统。在时间片算法中，操作系统会维护一个队列，将所有的进程放入队列中。然后操作系统会按照队列中的进程顺序为

2020-06-17 23:20:29 29695

原创 Spark入门( 八)——Spark流计算新玩法-Structured Streaming

Structured Streaming介绍与使用

2020-06-15 22:27:02 25182 2

原创 Spark入门(七)——最全的Saprk SQL算子介绍与使用(下)

Spark SQL 查询SQL语法查询单行查询模糊查询排序查询limit查询分组查询having过滤case-when行转列pivotCube计算Join表连接子查询开窗函数开窗函数SQL解读ROW_NUMRANK()DENSE_RANK() /密集排名自定义函数单行函数聚合函数（untyped）Load/SavePaquetJSONORC(存储压缩格式，比较节省空间)CSVJDBCDataFrame转为RDDSQL语法查询单行查询// 单行查询var userDF = List((1, "张三",

2020-06-12 15:27:16 19305

原创 Spark入门(六)——最全的Saprk SQL算子介绍与使用(上)

Spark DataSet、DataFrame使用 Spark SQL使用方法

2020-06-01 17:08:03 20757

17611119847