大数据
zfq-0314
这个作者很懒,什么都没留下…
展开
-
2021-04-01
CentOS 安装mysql 8.0.23 ,网上有很多安装方式,我才用 一个非常不错的一个方式,不用修改太多的配置,大家可以尝试,非常方便的,https://www.jb51.net/article/186499.htm原创 2021-04-01 10:45:03 · 74 阅读 · 0 评论 -
手写hivesql
表结构:uid,subject_id,score求:数据集如下1001 01 901001 02 901001 03 901002 01 851002 02 851002 03 701003 01 701003 02 701003 03 85找出所有科目成绩都大于某一学科平均成绩的学生...原创 2020-01-03 23:43:01 · 225 阅读 · 0 评论 -
SparkSql 项目实战
第 1 章 准备数据我们这次 Spark-sql 操作中所有的数据均来自 Hive.首先在 Hive 中创建表, 并导入数据.一共有 3 张表: 1 张用户行为表, 1 张城市表, 1 张产品表CREATE TABLE `user_visit_action`( `date` string, `user_id` bigint, `session_id` string,...原创 2019-11-21 00:05:20 · 850 阅读 · 0 评论 -
Hadoop处理文本文件,数组下标越界的特殊情况
今天在使用Hadoop分析文件时,莫名其妙出现了数组下标越界报错。1、先检查程序是否有问题,如果没有问题。2.检查文件是否有问题,检查文件的末尾是否有问题,3.用debug单行调试也行,需要会简单的debug。用eclipse或者idea都可以。在接受到行数据后将行拆分为数组,数组元素可以正常打印,但是控制台报下标越界,try环绕后仍然报错,但是程序可以正常跑完。检查了很多遍,...原创 2019-09-08 13:10:05 · 636 阅读 · 0 评论