云计算与大数据
viHo+
这个作者很懒,什么都没留下…
展开
-
解决ubentu中jdk版本过高问题
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2019-02-01 01:08:26 · 2006 阅读 · 0 评论 -
hadoop配置webUI日志(解决web jobhistory没有job日志记录问题)
配置mapred-site.xml<configuration> <!-- 设置jobhistoryserver 没有配置的话 history入口不可用 --> <property> <name>mapreduce.jobhistory.address</name> <value>localhost:10020&...原创 2019-03-30 14:49:46 · 3415 阅读 · 6 评论 -
Maven项目打包scala jar包,并在spark运行
http://dblab.xmu.edu.cn/blog/2083-2/转载 2019-03-30 16:15:26 · 1730 阅读 · 0 评论 -
解决sbt打包报错
在〜/ .bashrc中加入环境变量export TERM=xterm-color更新一下source 〜/ .bashrc解决问题。原创 2019-04-06 17:12:15 · 1084 阅读 · 0 评论 -
java通过JDBC对hive操作遇到的错误
Caused by: java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):User: hadoop is not allowed to impersonate hive原因:hive不允许匿...原创 2019-04-10 23:33:12 · 955 阅读 · 0 评论 -
ubentu18.04更换软件更新源
编辑/etc/apt/sources.list文件阿里云源deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-propertiesdeb http://mirrors.aliyun.com/ubuntu/ xenial main restricteddeb-src http:...原创 2019-04-03 01:00:21 · 421 阅读 · 0 评论 -
hive初始化源数据失败!
schematool -dbType mysql -initSchema原创 2019-04-29 00:20:29 · 2393 阅读 · 0 评论 -
正常打开hive,运行连接元数据超时!
用debug模式打开hivehive -hiveconf hive.root.logger=DEBUG,console1.登陆mysql,修改hive metastore版本:进行mysql:mysql -u root -p (123456)use hive;select * from VERSION;update VERSION set SCHEMA_VERSION=‘2.1.1’ ...原创 2019-05-30 00:19:56 · 1757 阅读 · 0 评论 -
记录hive中文分词+词频统计
1,编写udf程序,这里使用的时IK分词jar包进行分词,udf函数输出的是使用空格分隔的分词后的词组成的字符串。package hiveUDF;import java.io.ByteArrayInputStream;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReade...原创 2019-06-10 00:56:20 · 3273 阅读 · 0 评论