- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark-sql 结合 hive
1.首先，假设你的hive和hdfs都配置好了。 2.然后spark-sql结合hive其实就非常简单了。 先找到你的hive安装目录 echo $HIVE_HOME 假设hive目录是 /d1/hive_sys/apache-hive-2.1.0-bin/ 只要建立如下两个软件就OK了cd $SPARK_HOMEcd conf/ln -s /d1/hive_sys/apache-h
2017-01-03 21:59:31
441
原创 hadoop PipeMapRed faild
hadoop PipeMapRed faild今天遇到了一个PipeMapRed faild，程序肯定是没有问题的，在开发环境运行时正常的，但是在测试环境死活运行不了。看到这一地错误提示，又不知道到底啥意思。对hadoop底层的原理也不甚了了。 最后发现原来是map程序的格式问题。所以这个错误的意思是，读map程序的时候失败了。 这个mapReduce作业是python写的。 vim 下 输入
2016-12-02 16:53:52
691
原创 Ubuntu 使用技巧
以下记录的是我在刚装好ubuntu时遇到的问题和解决办法 实验环境：ubuntu kylin 15.101.查看快捷键2.图形化界面和字符界面之间的切换3.纯字符界面中文乱码问题解决方案4.sudo 免密码5.查看当前有哪些用户登入系统6.开机启动相关命令 systemctl
2016-03-23 00:33:29
937
原创 cookie 和 session 的关系
简介 session，和cookie是一种存储数据的机制。 cookie的数据是存在客户端的，可以设置失效时间。默认关闭浏览器自动失效，如果设置了失效时间，即使关闭了浏览器cookie仍然会保留直到到期。 session的数据是存在服务器端的，既可以以文件的形式存到服务器上，也可以存到redis、memcached、SQLite。 下图是项目里面的session 文件。 它不是一个单一
2016-02-26 11:48:10
403
原创 写博客的好处
我是一个内向的不善于沟通的而且不善于表达的程序媛。从我意识到写博客对自己有很大很大的好处然后决定坚持写博客到开始到现在，大半年过去了，却只有唯一的一篇和技术无关的博客。为什么我写博客会这么困难呢？ 1.从小不会写作文，经常大半天挤不出一个字来。 2.总是有完美主义情结，总想着博客一定要写得很好，要有一定的技术含量，要有干货。简单的东西不想写，别人写过的东西不能写，不简单的东西自己又不会，……
2016-01-05 00:16:45
2598
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人