qwemicheal-CSDN博客

原创 Apach Zepplein使用Livy解释器中文不能被解析问题

一 .起因在配置好Zeppelin 和 Livy之后，日常使用的过程中发现，Spark sql或者filter等操作中带上中文的话返回结果总是为空。但是日常使用中并不是所有信息都可以用英文表示，例如家庭地址就不方便用英文表示。二 . 查找问题由来问题一出现，我就立马联想到了编码问题，毕竟之前被python unicode编码折腾过。但是zeppelin，livy, spark

2017-06-13 17:13:57 1131 1

原创 Apach Zeppelin和Apach Livy搭配使用配置

Zeppelin搭配Livy 使用spark和sparksql查询hive的相关配置说明，遇到的坑及解决方案。

2017-05-17 16:25:17 4976

原创 Apach Zeppelin搭配Livy接入kafka使用spark streaming处理

在Apach Zeppelin中搭配Livy接入kafka数据源，再使用spark streaming处理

2017-05-10 10:32:49 1530

原创 apach zeppelin中使用spark streaming:基本功能

如何在zeppelin 中运行简单的spark streaming例子，以及其中的出现的问题及原因．

2017-05-02 16:26:07 2361 1

原创 Zeppelin 和livy结合实现代理用户中如何代理ldap邮箱用户

一．需求很多做数据分析的同事日常工作即使利用spark操作数据做一些聚合分析等等再写出数据作可视化等等．而现在大热的zeppelin则可以完成丛数据抽取处理到展示的一条龙服务，但是由于zepplin还属于一个比较新的项目，没有那么稳定，之前公司内部使用　zeppelin 0.70 snapshot版本时发现zeppelin proxy user功能尚不能支持．意味着zeppelin内部启动

2017-04-20 22:18:42 1973 1

原创 Apach Ranger 0.6 使用中的那些坑

公司需要增加对hdfs集群数据安全的控制，组里有人提出apach ranger可以完成数据动态模糊和hdfs目录，hive表的动态访问控制，因此尝试了下apach ranger相关的功能，并碰到了不少坑。Ranger 是hortonworks收购XA后开源出来的项目，现在还属于项目孵化阶段，用的人不多，国内只找到两篇安装指南，第一篇写的比较详细，针对的是ranger 0.5版本，我就是参照这个安装指

2016-11-14 16:01:40 3853 2

原创 Python 打包工具对比，Nuitka vs Pyinstaller

Python 打包工具对比，Nuitka vs Pyinstaller因为工作需要，需要把一个Python脚本打包封装后在公司内推广，原先以为代码写完，功能正常就完事了，没想到Python跨平台打包是一件很麻烦的事情。公司内部同事有用Linux，有用Mac OS的，还有大量Windows用户，所以需要Python跨平台打包。最初调研的时候，确定了几个被选工具，py2exe，Pyinstaller，C

2016-10-19 22:51:43 30302 13

MATLAB基础教程_薛山_课后答案[2-12章]

matlab 薛山课后答案 2-12章

2015-10-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人