自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (6)
  • 问答 (1)
  • 收藏
  • 关注

原创 ssh免密登录无法生效:authentication refused:bad ownership or modes for directory /home/hadoop

原因是:/home/hadoop权限问题解决办法:chmod 700 /home/hadoop     (权限千万不能赋予777,否则免密登录是无法生效的,因为authorized_keys默认是自己唯一写权限的)  ...

2018-11-29 15:29:26 2062 1

转载 Spark-SQL之DataFrame操作 show/collect/collectAsList/describe

https://blog.csdn.net/dabokele/article/details/52802150

2018-11-27 20:04:45 11423

原创 impala没有write权限插入数据到hive表:impala does not have write access to at least on HDFS path hdfs://...

问题:impala does not have write access to at least on HDFS path hdfs://hadoop01:9000/user/hive/warehouse/news.db/hive_test_table解决方法:(1)可能是hdfs://hadoop01:9000/user/hive/warehouse/news.db/hive_tes...

2018-11-14 17:25:31 7673

原创 Impala无法启动catalog,报com.mysql.jdbc.Driver was not found.....CLASSPATH....

全文可参考:http://lxw1234.com/archives/2017/06/862.htm PS:此步需要在所有节点以root用户执行。将$HIVE_HOME/lib/mysql-connector-java-5.1.40-bin.jar 复制到 /usr/lib/impala/lib下,并且修改/usr/bin/catalogd中修改CLASSPATH,添加MySQL...

2018-11-14 10:29:47 898

json paser 属于idea插件 用于解析json

懂得都懂 json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser 属于idea插件 用于解析json json paser

2022-04-22

适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

分别取对应的文件夹下解压,之后将这两个文件替换到 hadoop-2.*.*/bin目录下即可 winutils.exe、hadoop.dll

2019-04-17

《Spark大数据商业实战三部曲:内核解密 商业案例 性能调优》2018.02出版

(限于文件1.3G大小,分享为云盘下载地址,请自行下载) 本书基于Spark2.2.0版本,以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心,以Spark内核解密为基石,分为上篇、中篇、下篇,对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码,从一个动手实战案例入手,循序渐进地全面解析了Spark2.2新特性及Spark内核源码;中篇选取Spark开发中具有代表的经典学习案例,深入浅出地介绍,在案例中综合应用Spark的大数据技术;下篇性能调优内容基本完全覆盖了Spark在生产环境下的所有调优技术。

2019-04-16

spark-2.3.1-bin-hadoop2.9-without-hive.tgz

使用maven重新编译spark2.3.1源码,用以实现hive on spark

2019-02-22

spark-2.3.1-bin-hadoop2-without-hive.tgz

使用maven重新编译spark2.3.1源码,用以实现hive on spark

2019-01-09

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除