大数据
AnimalsD
如发现有任何问题,欢迎指出,相互学习---402759452
展开
-
Spark下自身集成的Hive的使用
1、安装mysql-serverapt-get install mysql-server创建过程中输入密码 , 然后再次输入密码安装成功后检验一下 mysql -uroot -p输入密码登录成功2、创建一个新的用户hive并授权,更新权限,退出root用户,使用新创建的用户hive进行登录create user 'hive' identified by 'hive'grant all privileges *.* to hive with grant optionflu.原创 2020-11-13 13:46:53 · 407 阅读 · 0 评论 -
Spark之RDD详解
RDD论文特点:一系列的分区,有编号有顺序每一个切片都有一个函数用于数据处理RDD和RDD之间存在依赖关系(可选的)k-v类型的RDD会有一个分区器,默认的时hash-partitioned(可选的)如果是从HDFS中读取数据,会得到数据的最有位置(向NameNode请求元数据)分类算子importantforeach Action executorforeachPartition Actionaggregate Actiona...原创 2020-11-06 14:22:19 · 996 阅读 · 0 评论 -
本地模式调试Spark程序(IDEA)
0、安装好jdk环境1、下载hadoop对应的压缩包,解压至本地磁盘目录,并配置好环境变量添加到Path中2、需要注意的是,需要将本地JAVA_HOME在hadoop解压缩的目录D:\hadoop-2.9.2\etc\hadoop 下的文件 hadoop-env.cmd进行修改原JAVA_HOME路径中有(Program File)包含了空格,需要将其修改为(Progra~1),修改后的效果如下3、最后下载本地执行程序时需要用到的一些脚本文件 winutils,选择对应的原创 2020-10-20 20:07:26 · 1858 阅读 · 0 评论