Hive表创建唯一标识列 需求：在某一张 hive 表中需要有一列去唯一标识某一行，有些类似于MySQL中的自增IDrow_number() SELECT row_number() OVER(ORDER BY RAND()) AS sample_key结果UUID SELECT regexp_replace(reflect("java.util.UUID", "randomUUI...
Hive进行 insert 复杂类型array struct嵌套的字段 需求：在创建表的时候有一列类型为array<struct:”id”:string,”l”:string>想要自己造数据向表里insert格式应该怎么写呢？建表语句如下：CREATE EXTERNAL TABLE `test.test_imp06`(`exps` array<struct<id:string,l:string>> COMMENT ‘ceshi...
Hive 调度任务报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 前两天创建调度任务的时候是重新创建表语句: insert overwrite tableselect …在集群上跑的时候报了这样的错：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask...
东北大学比赛一些报销流程（仅供参考） 东北大学比赛报销流程以计算机设计大赛为例，今年参加了比赛，得了二等奖，学校给报销路费住宿费。可是谁知道报销路漫漫呀，我们在浑南校区，还要南湖浑南来回跑。记录一下流程，供参考。。。。比赛前期因为要去南京比赛，所以算作出差，首先要填写因公出差审批表，要在计划财经处下载财经处网址，初始用户名密码都为学号。下载后填写，需要找创新创业学院院长盖章。。（也可以补办，我们队就是比赛结束才补办的）...
Java实现括号是否匹配(给定一串字符串看括号是否成对出现) 可以说是一道算法题，使用栈来解决。。。基本思路如下1、将字符串的每个字符进行遍历2、如果发现是左括号，那么将该字符压入到栈中3、如果是右括号，先去存储好的栈顶找到相应的值4、若栈为空返回false，若匹配，pop该左括号，若不匹配也返回false5、最后看存储栈中的做括号是否都匹配上了，也就是栈最后为空，返回true，否则返回false以下是实现的代码部分package ...
大数据研发面试题总结 面试方向：大数据研发Java部分Java的集合类有哪些？ArrayList和LinkedList的区别ArrayList的动态扩容是怎么实现的HashMap的底层存储结构是什么样的Java多线程的实现方法线程和进程的区别是什么线程的生命周期和生命状态volatile关键字wait和sleep的区别如何保证线程安全的问题，线程安全是什么JVM的结构，每块是什么用处讲一...
UltraEdit mac版破解方法 UltraEdit是一个功能非常强大的编辑器，尤其喜欢它的列编辑模式，但并不是免费的，通过不断的尝试和查找资料终于把它的破解方式找到了。现在总结一下mac版的破解在官网上下载UltraEdit，然后点击一直安装安装就好了一定要注意自己安装的是哪个版本的！！！！网上有好多只告诉了命令但是没有告诉版本，所有输了也没有起到作用的。下面开始终端输入命令了18.00.0.12破解printf...
SpringBoot实现MySQL数据前端显示 使用springboot框架进行数据库信息的读取并且展示在页面上。Springboot框架相对来说比较简单，直接在pom文件中加入依赖就可以直接使用服务器，不需要再搭建tomcat。定义映射实体类，类中的属性和类型要和数据库表中的字段相对应@Entitypublic class ExceptionOutput { @Id @GeneratedValue(strat...
Storm+HBASE+MySQL 实时读取Kafka信息计算存储 本文是通过Storm将生产出来的数据进行实时的计算统计，整理出来之后将数据写到hbase和mysql数据中，并将结果展示在前端页面上题目要求一、机组运行数据清洗规则 1、运行数据日期不是当日数据 2、运行数据风速 为空||=-902||风速在 3～12之外 3、运行数据功率 为空||=-902||功率在 -0.5*1500~2*1500之外 二、清洗数据后存储HBase 1、正常...
Java处理ISO 8601型字符串与日期间的转换 今天下午遇到了个大坑，整了半天才搞明白。先说一下需求：将”2018-05-14T03:51:50.153” 这种类型的进行格式转换首先了解一下UTC(世界协调时间也就是格林尼治时间，和北京时间差了八个小时)时间格式 ISO 8601 日期-时间格式表示：yyyy-mm-ddThh:mm:ss.fffZ，其中 yyyy = 年，mm = 月，dd = 天，T 表示时间部分的开头，hh = 小时，...
Kafka实现生产者消费者 自定义partition KafkaAPI实现生产者与消费者自定义Partition，奇数、偶数数据分在不同的Partition.思路创建三个类，包括Consumer、Producer、Partition在Producer端产生消息，Consumer端接收消息，Partition实现分区规则。Producer根据随机函数随机产生十个数据，其中包括奇数和偶数。因为是将奇数和偶数划分到不同的partition当中去，所...
SparkMLlib随机森林实现pm预测（自定义函数的使用） 本文主要是用SparkMLlib中的一些算法来对PM进行预测，其中涉及了dataframe中对列使用自定义函数的操作，很方便！！任务：读取pm.csv,将含有缺失值的行扔掉（或用均值填充）将数据集分为两部分，0.8比例作为训练集，0.2比例作为测试集（1）使用month,day,hour,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir作为特征列（除去No，year，pm），...
PyCharm 无法 import pandas 程序卡住 问题描述：之前一直用习惯了jupyter notebook ,今天换一下IDE，直接用Pycharm，结果发现在import pandas 的时候，虽然不报错，但是程序无法运行比如这个代码，只能打印出第一句开始读取，之后程序一直运行，但不停止。。。让我很是头大啊。。在网上搜了各种各样的解决方法。设置解释器。。。一系列的都没有问题但是pandas还是不能引入，好了使用暴力解决的方法，...
Spark文本挖掘机器学习实现 本文主要是通过招聘网站爬取的招聘信息对招聘信息进行分类结合文本相关spark 算法，包括spark中机器学习算法的使用，文本挖掘的一些方法，特征值的转换给定文件的格式①.通过spark相关API将爬取到的数据进行处理，得到结构化的数据表读取json文件并对其中的标点进行过滤 val conf = new SparkConf().setAppName("input")...
使用Spark进行排名统计 使用Spark进行简单的数据统计给定数据集为各年龄段不同性别的用户对电影观看情况的一个统计主要用了Spark中算子的一些操作相关的数据文件 1. 年龄段在“18-24”的男性年轻人，最喜欢看哪10部 首先读取文件，在用户文件中读取符合条件的年轻人 val conf =new SparkConf().setAppName("read_gz_file...
Linux常用命令 本文主要介绍的是Linux一些常用的命令，刚开始学Linux的童靴可以从这里开始练习哦！利用pwd命令显示当前目录 ls命令 ls -a命令的区别 man命令查看ls的手册 在根目录下创建test目录cd / mkdir test在test目录下创建user1/user2目录结构 cd test mkdir -p user1/user2在某个目录...
关注
