lsl_wfd_1900-CSDN博客

转载 win7系统安装Ubuntu系统后，不能进入win7

问题描述：笔记本原本安装win7旗舰系统，又安装Ubuntu系统，即实现双系统；Ubuntu安装成功后，重启系统，发现引导界面只有Ubuntu，进入Ubuntu发现win7存在，但是进不去win7。解决：在Ubuntu中右键打开命令行，输入命令：sudo update-grub2 进行修复如果出现grub.cfg…………Found Windows 7(loader)……done表明修复完成，重启系...

2018-04-20 22:47:54 6450

转载 spark2.0.1使用过程中常见问题汇总

当前spark任务都是运行在yarn上，因为不用启动长进程worker，也没有master的HA问题，所以出现的主要问题会在任务执行层面。作业故障分类故障主要分为版本，内存和权限三方面。- 各种版本不一致- 各种内存溢出- 其他问题1.版本不一致1）java版本不一致报错：java.lang.UnsupportedClassVersionError:

2018-01-15 17:48:02 807

转载 Lateral View用法与 Hive UDTF explode

Lateral View是Hive中提供给UDTF的conjunction，它可以解决UDTF不能添加额外的select列的问题。1. Why we need Lateral View？当我们想对hive表中某一列进行split之后，想对其转换成1 to N的模式，即一行转多列。hive不允许我们在UDTF函数之外，再添加其它select语句。如下，我们想将登录某个游戏

2018-01-11 17:28:36 317

转载 Hive 混合函数 UDTF UDF

混合函数可以使用java中的方法java_method(class,method[,arg1[,arg2...]])或者reflectHive版本1.2.1UDTF 用户定义表函数(表函数）一行变成多行配合lateral viewhive的Lateral viewhttp://blog.sina.com.cn/s/blog_7e04e0d00101csic.

2018-01-11 17:20:22 244

转载 IntelliJ IDEA + Maven环境编写第一个hadoop程序

1. 新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next 2. 填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,

2018-01-10 19:25:23 418

转载解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题

一．简介 Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我同样遇到的问题作为参考。 Hadoop2的WordCount.java

2018-01-10 18:59:51 260

转载 IDEA中MAVEN项目打JAR包的简单方法

Idea中为一般的非Web项目打Jar包是有自己的方法的，网上一搜就能查到很多。　　但是如果是为Maven项目打Jar包，其实是很简单的，因为maven本身就有打Jar包的命令。最简单的方法　　首先是在maven项目的pom.xml中添加打包的插件，这里有很多种方式的。最最简单的就是只使用maven-compiler-plugin、maven-jar-plugin

2018-01-10 16:21:37 4728

转载 HIVE-默认分隔符的（linux系统的特殊字符）查看，输入和修改

这段时间做hive的时候，用到了系统默认分隔符。通常下面2中情况我们需要需要用到分隔符1，制作table的输入文件，有时候我们需要输入一些特殊的分隔符2，把hive表格导出到本地时，系统默认的分隔符是^A，这个是特殊字符，直接cat或者vim是看不到的分隔符在HIVE中的用途分隔符描述\n对于

2018-01-10 12:52:22 4691

原创解决hdfs程序报SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

Hadoop中输入hdfs dfs -ls /程序出现如下错误 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/cod

2018-01-10 10:02:40 3846 1

weixin_39785834的博客