- 博客(11)
- 收藏
- 关注
RSS订阅
原创 同一条sql语句 ，Spark Sql 和 hive shell 查询数据结果不一致。
背景:hive表数据文件存储格式是parquet,存储在aliyun的oss存储中问题描述:saprk sql程序读取结果:hive shell 数据读取结果:hive shell查询的结果是完整的.数据的写入通过spark 程序执行的，存入代码如下所示:udfService.register(map, df.sqlContext) df .withC...
2019-03-14 17:30:47
6103
1
原创 CDH开启Kerberos的问题记录
1：nodemanager连接不上resourcemanager, 清除每个nodemanager的用户缓存在每一个NodeManager节点上删除该用户的缓存目录，对于用户hdfs，是/data/data/yarn/nm/usercache/hdfs。该缓存目录在集群进入Kerberos状态前就已经存在了。例如当我们还没为集群Kerberos支持的时候，就用该用户跑过YARN应用。也许这是一个bug2：使用 hdfs/namenode01@xxxCOM账户建立的账户才能访问hdfs账户下的权限，.
2023-10-23 16:33:10
76
原创 CDH 开启Kerberos 问题
1：nodemanager连接不上resourcemanager, 清除每个nodemanager的用户缓存在每一个NodeManager节点上删除该用户的缓存目录，对于用户hdfs，是/data/data/yarn/nm/usercache/hdfs。该缓存目录在集群进入Kerberos状态前就已经存在了。例如当我们还没为集群Kerberos支持的时候，就用该用户跑过YARN应用。也许这是一个bug2：使用 hdfs/namenode01@xxxCOM账户建立的账户才能访问hdfs账户下的权限，.
2021-11-18 16:13:07
1335
原创 windows电脑通过跳板机中转访问linux服务器
配置windows免密登录跳板机前提是你得装个wsl，或者gitbash等能模拟linux命令的工具1：生成公钥和私钥ssh-keygen -t rsa -C "example@example.com" 在当前目录下会得到id_rsa和id_rsa.pub这两个文件2：将id_rsa.pub公钥文件上传至linux跳板机，通过以下命令追加公钥内容至authorized_k...
2020-04-19 13:21:25
1822
原创 安卓ROM定制笔记（一） 使用安卓隐藏API配合安卓studio开发系统级APP
虽然在开发中使用隐藏API是不推荐的，但是为了一些需求，还是得做的。获取安卓架包在sdk中这个包叫做android.jar，有两种方式，第一种方式 从github上获取，android-hidden-api，下载对应安卓版本的android.jar文件第二种方式 从编译完成的安卓源码中获取，在安卓源码目录/out/target/common/obj/JAVA_LIBRARIES/framework...
2018-04-16 22:23:56
2502
原创 树莓派入门（四）使用pycharm远程调试运行树莓派代码
请先实现树莓派入门前三章内容，然后学习本章内容下载安装pycharm1：pycharm专业版下载，只有专业版有远程python解释器的功能。虽然收费，但这是在我国啊，哈哈。2：破解pycharm专业版配置远程python解释器1：打开pycharm,新建一个新项目，进入Create New Project, 点击解释器的小齿轮，如图所示：2：点击进入add Remote界面，配置ssh连接信息，如...
2018-04-13 15:57:37
8303
5
原创 树莓派入门（三）配置连接wifi
请按照连接树莓派一文，连接上树莓派控制台。配置wifi信息1：执行以下命令,进入树莓派配置页面，如下图所示：sudo raspi-config2：使用键盘上下箭头，选中Network Options，按ENTER键进入后如下图所示：3：选择wi-fi，按ENTER键进入，依次输入SSID即wifi名称，和wifi密码,按enter键进入下一步：4：输入完ssid和密码后，按ESC键退出，在控制台输...
2018-04-13 15:02:00
2288
原创 树莓派入门（二）连接树莓派
请按照上篇文章安装完成树莓派系统，接下来连接树莓派准备工作1：树莓派通过网线和电脑相连，树莓派已连接电源2：电脑连接上wifi，由于有线网口被树莓派抢了，除非你有两个，你厉害！设置无线网络共享1：右键点击windows下wifi图标进入“网络和internet设置”，进入更改适配器选项，如下图所示可以看到你连接的wifi是哪个，右键WLAN查看属性，选择共享，如下图所示勾选中这两个：如果能看到选择...
2018-04-13 13:13:28
1447
原创 树莓派入门（一）下载安装系统
硬件准备：1：树莓派2：树莓派电源线，可以连接上自己电脑的USB口（不是通过此线与树莓派交互，只是供电）3：一根网线（初始环境时使用此线与树莓派交互）4：一张8G的内存卡软件准备下载系统1：浏览器进入https://www.raspberrypi.org/downloads/ 选择RASPBIAN，如图所示：2：推荐你下载RASPBIAN LITE版的系统（非LITE版会装一堆你用不到的软件，耗费...
2018-04-13 11:49:32
5192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人