2018年11月_s小菜鸟

原创 hive列转多行LATERAL VIEW explode

lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表.数据：以制表符分隔movie category《疑犯追踪》悬疑,动作,科幻,剧情《Lie ...

2018-11-29 21:17:14 1436

原创 hive中的concat_ws合并用法

从数据库里取N个字段，然后组合到一起用“，”分割显示。CONCAT（）来处理的话是麻烦。CONCAT_WS（）处理起来比较简单。CONCAT（name,",",age）CONCAT_WS(",", name, age,…)举个简单的例子select concat(",",name,age) from student;lisi,12xiaoming,13CONCAT_WS（）是一...

2018-11-29 20:39:57 11604

原创 MySQL: Starting MySQL….. ERROR! The server quit without updating PID file

启动能正常启动，查看状态包pid错误，后来发现是用户权限问题，查看状态的时候前面加上"sudo".建议大家用root用户装mysql。这是自己造成的错误，处理很简单，下面还有几种pid错误处理的方法。第一种方法：可能是硬盘满了，清理下垃圾文件。第二种：查看下数据库运行状态/etc/init.d/mysql status提示ERROR! MySQL is running but ...

2018-11-29 14:25:07 307

原创 MapReduce找共同好友

用到的数据创建一个txt文件放进去就可以啦A:B,D,E,H,I,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:B,C,D,E,O,MG:Q,W,A,C,E,OH:A,C,E,D,OI:A,OJ:B,PK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J我是用了两个mapreduce写的第一个mapreducemap端...

2018-11-28 21:39:44 219

原创阿里Json之FastJson的简单应用

1.FastJson的介绍:JSON协议使用方便，越来越流行,JSON的处理器有很多,这里我介绍一下FastJson,FastJson是阿里的开源框架,被不少企业使用,是一个极其优秀的Json框架,Github地址: FastJson1.2.FastJson的特点:1.FastJson数度快,无论序列化和反序列化,都是当之无愧的fast2.功能强大(支持普通JDK类包括任意Java Bea...

2018-11-28 20:13:06 129

原创 java版本的Maven依赖

2018-11-28 19:11:03 1046

来源HUE=HadoopUser Experience，看这名字就知道怎么回事了吧，没错，直白来说就是Hadoop用户体验，是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Had...

2018-11-27 22:13:45 153

原创 spark中的各种算子分类

1、Trasformtion算子union、reduceByKey、groupBy、join、map、mapPartition、cogroup、parallelize、textFile、leftoutJoin、flatMap、coalesce、Repartition2、Action算子count、take、collect、foreach、foreachPartition、saveAsTex...

2018-11-20 22:39:18 1211

原创 hbase配置高可用

1·首先你应配置hadoop和zookeeper集群2·解压hbase到指定目录tar -zxvf hbase -C /usr/local/3·修改配置文件hbase-env.sh4· 添加如下内容到Hbase-site.xml 配置文件中<configuration> <property> <name>hbash.rootdi...

2018-11-20 22:33:33 496

原创反射构建DataFrame样例类参数大于22

这个错误出现在case class参数超出22个的时候。case classes cannot have more than 22 parameters1在scala 2.11.x版本以下时case class 的参数最多为22个，如果超过这个参数又不能升级时(比如目前spark依赖于2.10.x)要怎么办?下面解决方法：继承 Product 方法实现序列化这里举个26...

2018-11-19 21:03:25 722 3

weixin_38842096的博客