- 博客(4)
- 收藏
- 关注
RSS订阅原创 MySql中的问题汇总
1.安装mysql-5.1.73 使用root用户: su root 安装 yum -y install mysql yum -y install mysql-server 修改配置信息，vi /etc/my.cnf，添加: [mysql] default-character-set=utf8 [mysqld] character-set-server=utf8 lower_case_table...
2019-06-28 17:40:54
126
原创 Spark-Sql（RDD----DataFrame3种方式)
DataFrame是什么 在Spark中，DataFrame是一种按列组织的分布式数据集，概念上等价于关系数据库中一个表或者是Python中的 data frame，但是在底层进行了更丰富的优化。 DataFrame与RDD的对比以及联系 DataFrame里面存放的结构化数据的描述信息，DataFrame要有表头（表的描述信息），描述了有多少列，每一 列数叫什么名字、什么类型、能不能为空？ D...
2019-06-14 16:00:27
1067
原创 Spark Session 组件以及应用
在理解spark-session之前让我们理解入口点，一个入口点是控制从操作系统传递到提供的程序的地方。 在2.0入口之前，spark-core的入口点是sparkContext SparkContext在Apache Spark中的功能： 获取spark应用程序的当前状态 设置配置 访问各种服务 取消job 取消一个stage 关闭清洁 注册Spark-Listener 可编程动态分配 访问...
2019-06-14 11:01:44
326
原创 基于Hadoop集群的Redis集群搭建以及自定义脚本运行
前期准备：hadoop集群 Redis集群的搭建： 这里以3台虚拟机，6个redis数据库为例 1、 集群通信是通过“ping-pong”机制进行通信； 2、 客户端不需要将所有的节点都连接上，只需要连接其中一个节点即可。 3、 集群中存储数据是存储到一个个的槽中，集群中槽的个数是固定的：16384，槽的编号是【0-16383】。在集群中存储数据时，会根据key进行计算，计算出一个结果，然后将这...
2019-06-14 09:26:59
831
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人